El Shiba ha sido una raza de Japón desde los tiempos primitivos. El hábitat del Shiba era el área montañosa frente al Mar del Japón y fue utilizado como perro de caza de pequeños animales y aves.
Se diferenciaban claramente diferentes líneas de sangre dependiendo de su lugar de nacimiento en Japón.
En 1926 comenzó a preocupar la dificultad de encontrar un Shiba puro por ello en 1928 se fundó el Nippon-ken Hozonkai (NIPPO) que en la actualidad es el club más importante de fomento de la raza.
Es una de las razas más populares en su país de origen y así ha sido desde hace muchísimos años. Tras la Segunda Guerra Mundial estuvo a punto de desaparecer, pero gracias a los programas de cría impulsados por el gobierno nipón y a la incipiente notoriedad que la raza empezaba a cobrar en el extranjero, en poco tiempo se superó la crisis para tornar una inminente extinción en una historia de éxito imparable.