战国时期，封建诸侯割据，兼并战争连绵不绝，被称作战国七雄之一的秦国，在兼并战争中逐渐强大起来。随着版图的不断扩大，秦国国君昭襄王于三十五年（前272）开始设置北地郡。秦统一中国后，秦始皇派大将蒙恬北击匈奴，于始皇三十三年（前214）攻取今河套地区，宁夏全境归入北地郡管辖。郡城设在义渠（今甘肃的会宁县境内）。为了防止匈奴南下，巩固秦朝在北方的统治，蒙恬把原秦赵燕三国的长城连接了起来并向两边延伸拓展，修筑了一条东起辽东，西到甘肃临洮的军事防御体系，这就是著名的万里长城。蒙恬还在长城沿线和黄河岸边修筑了44座军事要塞并在各要塞派兵驻守，今天平罗境内黄河东岸的浑怀障就是当时著名的河防军事要塞。
西汉初期，今宁夏北部川区实际上为匈奴楼烦、白羊王属地。元朔二年至元狩二年（前127~前121），汉武帝派大将卫青、霍去病等将领多次出击匈奴，收复了河南地（辖平罗地区），并迁移内地居民到此地畜牧与屯垦，使人口大增。原来的行政建制已不适应统治需要，汉武帝元鼎三年（前114），遂从北地郡中分出大片土地另外设置安定郡。新的北地郡移治马岭（今甘肃庆阳境内），共辖19县，廉县是其中之一。廉县县城遗址位于今宁夏平罗县崇岗镇暖泉村，是汉代宁夏北部地区较早的县级政权机构。元封五年（前106），汉武帝设立十三州刺史部，北地郡属朔方刺史部，廉县仍然属北地郡管辖。西汉后期王莽篡政，将北地郡改名为“威戎”。辖19县（道），其中在宁夏境内有灵武、富平、灵州、昫衍、廉县等5县。廉县城因在黄河以西，新莽更名为“西河亭”。西汉时期，廉县辖境包括今石嘴山市的大武口区、惠农区和平罗县河西地区及贺兰县的西北部。
经过西汉末年的战乱，各地人口锐减。到东汉时，朝廷按人口多少撤并郡县，又把北地郡原来的19个县合并为6个县。但廉县仍然保留，其属地有所增加，即将西汉灵武县（县址在今青铜峡境内）的北部（今贺兰县西部）划入。据史籍记载，廉县人口不超过500户2000人，县境“水草丰美，土宜产牧”。
东汉中期，羌族、鲜卑族大量进入廉县居住和放牧。东汉永初五年（111）三月，先零羌部首领零昌的起义处于鼎盛时期，朝廷只好决定将北地郡南迁至陕西关中，郡治暂时设在池阳（今陕西泾阳西北）。因为郡守、县令等大小官吏原籍多在内地，加之钱财多，害怕被抢掠，所以争先恐后要求南迁，而一般民众除了搬不走的土地、房屋，没有什么可担心的，都不愿背井离乡向南迁徙，于是朝廷下令割去青苗，焚烧和拆毁房屋，采取强制措施，逼迫百姓南迁。老百姓拖家带口，跋山涉水，加上沿途因蝗灾闹饥荒，许多人因病、饿而死在路边，惨不忍睹。对此，《后汉书·西羌传》有记载：“而二千石令、长多内郡（人），皆争上徙郡县以避寇乱……百姓恋土，不乐去旧，遂乃刈其禾稼，发彻室屋，夹营壁，破积聚，时连旱蝗饥荒，而驱蹙劫略，流离分散，随道死亡，或弃捐老弱，或为人仆妾，丧其大半。”从这段记载看，廉县的民众也被强制南迁了，而且在迁徙途中丧亡过半。
东汉顺帝永建四年（129）九月，因朝廷对羌族作战取得阶段性胜利，尚书仆射虞翊认为北地十分富饶，“厥田惟上，沃野千里，谷稼殷实。又有龟兹盐池之利，水草丰美，土宜产牧，牛马衔尾，群羊塞道。北阻山河，乘厄据险。因渠为溉，水舂河漕，用功省少而军粮饶足”。他主张绝不应放弃对这里的管理，于是上《复三郡疏》，请求将三郡（安定郡、北地郡、上郡）重新迁回。朝廷采纳了虞翊的建议，同意恢复原来三郡，让民众各归旧县，朝廷派谒者郭璜督促百姓“各归旧县，缮城郭，置堠驿。既而激河浚渠为屯田，省内郡费岁以亿计”。于是，廉县的建制得以恢复。侥幸活下来的原廉县民众又长途跋涉，由关中池阳返回了故乡。
东汉永和六年（141）十月，因羌族起义再度爆发，朝廷又下令将北地郡南迁到冯翊（今陕西高陵）。至此，今平罗地域被羌族占据，廉县被废弃。此后的300多年间，今平罗县地区成为各少数民族居住和放牧牲畜的地方，一直没有州、县的行政建制。直到南北朝时期（420~589）的北魏在今天的宁夏银川市置怀远县，平罗县隶属于怀远县管辖。
战国时期，在我国北方有一个古老的游牧民族——匈奴族逐渐强大了起来，他们时常侵扰黄河流域的汉族政权。史书中“秦、赵、燕三国筑长城以拒胡”的“胡”即指匈奴。
秦二世元年（前209），陈胜、吴广领导农民起义，项羽、刘邦也相继起兵反秦。秦二世三年（前207）十月，刘邦进军关中，秦王子婴出降，短命的秦王朝只存在了15年就灭亡了。
秦汉交替之际，北方大乱，匈奴冒顿单于东破东胡，西驱月氏，北征丁零等部落，南灭楼烦王、白羊王两部，不断发展壮大，“界于故塞”，重新占领河套地区，将其领地从阴山南北扩展到大兴安岭、大漠南北和贝加尔湖广大地区，向南延伸至陕北榆林地区、宁夏中北部等地区，今宁夏地区遭受匈奴袭扰与掠夺。在匈奴控制的宁夏以北地区，秦时沿河修筑的城塞变成一片废墟。
西汉建立后，匈奴仍很强大，经常南下，攻城略地，掠夺大量财物，严重威胁西汉的统治。为了抵御匈奴的侵扰。汉高祖七年（前200），刘邦亲自统率32万大军北伐匈奴，结果被匈奴包围在山西平城附近的白登山，这就是历史上著名的“白登山之围”。刘邦采用了陈平的计策，用重金贿赂匈奴冒顿单于的阏氏（匈奴单于的妻子），求其吹枕边风，劝匈奴单于撤兵，方才脱围而出。“白登山之围”使西汉统治者认识到，西汉政权初建，国力困乏，反击匈奴的时机还不成熟。此后，汉高祖至汉文帝时期，均采取“和亲”政策，并伴以赠送厚礼等委曲求全的方针，但仍制止不住匈奴的攻掠，平罗境内经常处于匈奴的袭扰之中。
汉惠帝六年（前189），汉王朝与匈奴订立和亲之约，约定长城以北为游牧地区，归匈奴管辖，长城以南为农耕地，由汉朝管辖，汉军与匈奴处于战和不定之势。汉军在长城、城障等要害处驻守，监视着匈奴的动向。
汉文帝三年（前177）五月，匈奴右贤王乘文帝新即位之际破坏和亲，大举袭扰、掠夺河南地及北地郡各地居民牲畜和财产。六月，汉文帝遣丞相灌婴发车骑8万余进行反击，将右贤王逐出塞外，这是汉朝自实行和亲政策以来首次反击匈奴的重大战争。
汉文帝十四年（前166），匈奴老上单于发14万骑兵由河套直下朝那（今彭阳县古城）、萧关（今固原东南），杀北地郡都尉孙卬，掠夺大量牲畜和财产，遂至彭阳（今甘肃镇原东南），并“使奇兵入烧回中宫”，其“候骑”（侦察骑兵）到达雍（今陕西凤翔南）、甘泉，直接威胁长安。汉文帝决定发兵反击，以中尉周舍、郎中令张武为将军，率战车千乘、骑兵10万，驻长安近郊，守卫都城，并在沿途设斥堠、烽燧警戒；昌侯卢卿为上郡将军，守上郡；宁侯魏遬为北地将军，守北地；隆虑侯周灶为陇西将军，守陇西；东阳侯张相如为大将军，成侯董赤、内史栾布为将军，率骑兵10万迎击匈奴。匈奴扰掠了一个多月，见汉军迎击，料想长期相持也未必能占到便宜，遂退往塞外。
汉文帝后元六年冬（前158），匈奴3万余骑攻上郡（今陕西榆林市南），另3万余骑进攻云中（今内蒙古托克托），大肆杀人掠物。汉文帝派中大夫令勉军驻屯飞狐口（今河北涞源北），苏意军驻守句注山（山西代县西北），周亚夫军驻守细柳（今咸阳西南），张武领兵屯驻北地及其他要冲抵御。一个月后，汉军分别到达防地，数月后匈奴军北退。汉景帝时，宁夏地区仍是汉军反击匈奴南攻的军事前沿。
汉武帝建元元年（前140），与匈奴仍“明和亲约束，通关市，饶给之。匈奴自单于以下皆亲汉，往来长城下”。但和平局面并没有维持多久，汉朝、匈奴再度失和，匈奴又开始南下袭掠，汉武帝开始派军队进行大规模反击，今宁夏地区又成为抗击匈奴的重要前沿地区。
汉武帝元朔二年冬（前127），匈奴南下扰掠上谷郡（今河北怀来县南）、渔阳郡（今北京密云西）等地，汉王朝采取“胡骑东侵，汉骑西击”的战略，派车骑将军卫青、李息出云中沿黄河西进，击败匈奴楼烦、白羊王数千人，获牛羊百余万头，乘胜直抵高阙（今内蒙古临河市西北），给匈奴以沉重打击。紧接着，卫青率军渡过黄河，折而南下，直至陇西（今甘肃临洮境内），收复自秦以来陷于匈奴的河南地，设朔方郡（郡治在今内蒙古杭锦旗北），移10万人于此屯耕，并修复秦时黄河沿岸故塞，“邮亭驿置相望于道”，构筑大量的防御工程。从此，宁夏全境再次属北地郡，并成为反击匈奴军的战场，防线延长至宁夏贺兰山北部地区。
汉武帝元朔五年（前124），匈奴右贤王数次袭扰、掠夺河南地，汉武帝发兵10万，兵分两路进行反击。左路为李息、张次公率军牵制左贤王和单于主力，右路为卫青率军出高阙，并指挥苏建等部出朔方向右贤王攻击。右贤王突遭汉军夜袭而溃败，仅率数十骑突围逃走。汉军俘获匈奴裨将10余人、众1.5万人、牲畜10万余头。
元狩二年（前121）夏，汉武帝为了彻底铲除匈奴军主力，遣汉军骠骑将军霍去病和车骑将军公孙敖兵分两路进攻匈奴。公孙敖率兵沿焉耆山北麓向浑邪王、休屠王正面进攻，以吸引匈奴军注意力。是年五月，霍去病由北地郡出发，渡黄河北上，采取大迂回包抄匈奴军的行动，越过卑移山（今贺兰山）向西北挺进，经过腾格里大沙漠，深入1000多公里，绕道居延海（今内蒙古额济纳旗境内），然后由北向南出击，直抵祁连山，大败匈奴，斩获3万余人，匈奴遭到歼灭性打击。最后，浑邪王等势穷力竭，浑邪王杀休屠王后率四五万人降汉。
元狩四年（前119）夏，汉武帝派大将卫青、骠骑将军霍去病各率骑兵5万深入蒙古大沙漠对匈奴主力作战，史称“汉匈漠北之战”，匈奴损失10余万部众。此次战争后，匈奴已无力大举入侵南部，今平罗地区处于相对和平时期。
西汉时期，在平罗境内的浑怀障设浑怀都尉，驻重兵防御，起到了抵御匈奴南下扰掠宁夏北部地区的重要作用。
