Chùa Katsuoji được xây dựng từ hơn 1100 năm trước. Truyền thuyết kể rằng, Thiên Hoàng thời đấy bị bệnh nặng và mọi người đã tới chùa này cầu nguyện cho Thiên Hoàng mau chóng khỏi bệnh, và lời cầu nguyện đấy đã thành hiện thực. Sau khi khỏi bệnh, để cảm tạ Thiên Hoàng đã đặt tên cho ngôi chùa này là Katsuo-ji