胜州是隋唐时代在黄河沿岸设置的军事重镇，城址在今内蒙古自治区西南部，鄂尔多斯高原东端，蒙晋陕三省交界处的准格尔旗十二连城一带，胜州城东至榆林关今准格尔旗十二连城乡城坡村古城30余里，西至大葭芦水220余里、小葭芦水240余里的黄河沿岸。榆林、河滨2县之地，胜州都督府的军民在黄河岸畔从事种植业，春播秋收，引渠灌溉，产量颇丰。因此，隋唐时期特在这段黄河谷地开凿一条人工运河，导黄河之水入运河，转运粮食，以入官仓。所谓“平河水，首受黄河，隋文帝开之以通屯仓”，即指其事。隋王朝建立初期，突厥族势力甚为强盛，阴山南北地带都在突厥控制之下，隋王朝只有把住黄河天险，才能控制住突厥人渡河南下。于是便在黄河河套的东北角，黄河自西向东折向南流的拐曲处筑城镇守。583年(开皇三年)在此设置了榆林关，587年(开皇七年)又置榆林县。600年(开皇二十年)正式设置了胜州，领有榆林、富昌、金河三县。609年(大业五年)改胜州为榆林郡，仍领有榆林、富昌、金河三县。隋王朝末年，各方割据势力纷起，胜州人郭于和自立反隋，将胜州城奉献给东突厥汗国，向突厥人称臣纳贡。