榆林塞就在現今的陝西省榆林。戰國時期,北方邊塞之地多植榆為圍柵。秦統一中國,北逐匈奴,收復河套地區後,在這裡栽植很多榆樹,榆林塞之名大概由此而來。以地處榆溪(今清水河)之畔,亦稱榆溪塞,成為秦北邊一戍守地。隋時以此地為中心築起長城,遂成為隋長城的要塞。