Хотя прототипом для Ki.76 послужил немецкий Fieseler Fi.156 «Storch», японский самолет не был его точной копией, причем для переделки машины потребовалось только десять месяцев со времени получения «Storch». В 1940 году после успехов немецкой авиации, когда хорошо себя показал и Fi.156, японская армия передала на «Nippon Kokusai Koku Koge» заказ на изготовление подобной машины, для использования в качестве связного самолета и артиллерийского корректировщика. Разработку Ki.76 возглавил Козо Масухара. В качестве образца использовалась немецкая машина. Внешне оба самолета были очень похожи, но японский самолет был оснащен вместо 240-сильного Argus типа «перевернутой V» звездообразным двигателем Hitachi Hа-42 мощностью 310 л.с. Кроме того Масухара использовал для своего самолета закрылки Фаулера вместо щелевых на «шторхе». Выпуск закрылков был связан с автоматической перестановкой угла атаки стабилизатора, что увеличивало подъемную силу.
Первый полет Ki.76 состоялся в мае 1941 года. Самолет показал некоторую неустойчивость в полете, но тем не менее легко управлялся даже малоопытными пилотами. Сравнительные испытания с полученным в июне 1941 года Fi.156 показали превосходство японского самолета по всем статьям за исключением посадочной дистанции. Испытания были закончены в ноябре 1942 года, и самолет был запущен в серию на заводе в Хиратцука под обозначением «связной самолет армейский тип 3». Самолет активно использовался до самого конца войны.
В конце 1943 года Ki.76 был переделан для использования с армейского авианосца «Akitsu-maru» в качестве противолодочного. Самолет был оснащен посадочным гаком и мог нести две 60-кг глубинные бомбы Обычно на борту «Akitsu-maru» находилось семь Ki.76, впрочем их использование было безрезультатным.