幕臣の山口祐助の次男として生まれる。新撰組結成後は、その腕を買われて三番隊の組長となる。

会津戦争が敗戦間近になると、『会津を見捨てるのは正義ではない』と、一部の同士とともに会津に残る。

その後、藤田五郎と改名し、会津藩士の娘、時尾(ときお)と結婚。後半生を会津人として生き、市内七日町阿弥陀寺に眠っている。