Слово это есть вообще во всех без исключения славянских языках, а также в подавляющем большинстве западноевропейских. Его несомненный источник - греческое определение barbaros, от него пошло латинское barbarus - "чужеземец, чужестранец", короче говоря - чужак.
Между тем, если заглянуть в современные словари французского языка, мы увидим, что там слово barbare (варварский, жестокий) очень похоже на слово barbe (борода).
Любопытную версию излагал в свое время филолог Леон Арбатский в "Толковом словаре русской брани". По мнению составителя свода обсценной лексики, для древних греков слова "бородач" и "чужеземец" были синонимами, потому что сами они носили короткие аккуратные бородки клинышком, подстриженные и завитые, а то и чем-нибудь, в дни праздников, украшенные. Между тем соседние дикие варварские племена предпочитали совершенно другую моду, если это в принципе можно было так назвать: нестриженые, нечесаные, запущенные, вполне себе произвольной длины бородищи.
Почему же у нас, в русском языке, слово звучит как "варвар", а не "барбар"? Словари утверждают, что в русский язык "варвар" пришел при посредстве старославянского, из позднегреческого, где он звучит как varvaros, уже не barbaros, как когда-то. Вот почему В, а не Б. Что же до самих бород: Сирил Паркинсон, автор знаменитых "законов Паркинсона", полагает, что здесь ярко проявляется общая закономерность: каждый раз, когда какая-либо страна переживает упадок, в ней возрождается варварская мода на бороды.
В современной России, кстати, бороды пока не очень-то в моде. Здесь она прошла в романтические (и, кстати, абсолютно не упаднические) 1960-е и пока, по-моему, и не думает возвращаться.