《史记·匈奴列传》记载：“唐虞以上有山戎”，就是说早在尧舜时期，四千多年前，中国历史上就知道有山戎的存在。司马迁接着说了：“居于北蛮，随畜牧而转移。其畜之所多则马、牛、羊。”放牲口的，“逐水草迁徙，毋城郭常处耕田之业。”这个民族没有文书，没有文字，什么事以言语为约束，口头说事，没有记录，没有文字，以涉猎为生业。好战，好掠夺，这是它的天性，不种庄稼，专靠放牧、游牧为生，东西没了，困难了，就去抢一把，就是这样一个民族。后面当然还有好多，不知礼仪了，婚俗了，这些都跟汉人不一样。
这个民族“贵壮健，贱老弱”。就是重视年轻力壮的人，男的，能打仗的受到重视，受到崇尚。老人和孩子不被重视，受轻视。人老了，爬不动了，你以前做再多的事情，立多大功，你现在没用了；孩子也不重要，有事，战事一起来，就是男的，骑上马背就跑了，很少会携带老人、孩子一块跑。这么一个民族，要是我们现在来说不太理解。
山戎在什么地方活动呢？在燕北，就是昌平以北，居庸关，出了居庸关、八达岭，那个军都山；再往北，赤城、张家口；再往北承德，到东边卢龙、乾安这一带。通常山戎的活动范围就在山区里边，山谷间活动。
《匈奴列传》有一句话：“山戎越燕而伐齐,齐釐公与战于齐郊。”他们的胆子真大啊，能够带着自己的马队越过燕国去打齐国，齐国在山东啊！这是公元前701年的事，是在春秋早期，它的武装力量那时候还是可以的，但那是掠夺战争。
《史记》记载，“齐桓公二十三年，公元前663年，山戎伐燕”。这回不是打齐国了，伐燕了，直接跟近邻燕国打起来了，“燕告急于齐，齐桓公救燕，遂伐山戎，至于孤竹而还。”齐桓公这次率师深入到山戎的境地，深入得很深，越过了鲁国，越过了蓟水，然后深入到山戎驻地，把山戎扫荡一遍，然后到了孤竹。孤竹就在现在的河北卢龙一带，那是古孤竹国，就是他已经把山戎打完以后，最后到孤竹，从孤竹撤军回国了。文献记载，进一步表明山戎不老实，非常不老实，经常寇边，就是山寇，所以齐国人，燕国人、晋国人、郑国人都很恨它。
山戎在历史也称北戎、无终。西晋时期有个历史学家杜预，他在解释山戎时，就加了一个注，他说：“山戎、北戎、无终，三名其实一也。”
燕国把山戎驱走后，燕昭王就设了五郡，其中有三个郡，就是原来山戎的居地，就是右北平郡、渔阳郡、上谷郡。上谷郡郡址，现在就是怀来大古城村。渔阳郡的郡址，现在就在密云。右北平郡的郡址就是今天河北省的老名叫无终，现名叫蓟县。