К моменту начала бомбардировок Японии американскими В-29 из 20-го бомбардировочного командования с территории Китая и 21-го с Марианских островов, все что могла противопоставить им японская армейская авиация – перехватчик «одноместный истребитель армейский тип 2 модель 2В «Shoki» или кратко Ki.44-IIb.  «Shoki» («демон») набирал высоту 5000 м только за 4 мин 17 сек – наилучший результат среди японских истребителей. И наилучшим образом Ki.44 проявил себя именно в обороне неба метрополии.
«Shoki» стал первым представителем нового поколения армейских истребителей и появился практически одновременно с переходным типом – Ki.43. Задание на Ki.44 было выдано Nakajima практически одновременно с Ki.43. Опыт боев в Китае и на Халхин-Голе впервые навел воздушный штаб на мысль, что ставка только на высокую маневренность истребителя не всегда сопутствует успеху, а появление в составе японской авиации скоростного разведчика Ki.15, практически неуязвимого от истребителей, заставило подумать о возможной встрече с подобными самолетами противника. Поэтому от перехватчика в первую очередь потребовали высокой скорости – до 600 км/час и скороподъемности не менее 5 мин на высоту 5000 м. Вооружение должно было состоять из двух 12,7-мм и двух 7,7-мм пулеметов. Главный конструктор Ki.44 – Т.Каяма решил, что для достижения столь высоких требований следует выбрать более мощный двигатель, чем считавшийся тогда стандартным для японских истребителей Nakajima Ha-25.
Было решено остановиться на двигателе Nakajima Ha-41 мощностью 1250 л.с. Hовый двигатель представлял собой 14-цилиндровую двухрядную «звезду» и предназначался в основном для бомбардировщиков. Тем не менее, несмотря на большой диаметр двигателя, его удалось удачно вписать в фюзеляж истребителя довольно небольшого сечения. Для улучшения управляемости и устойчивости самолета во время стрельбы киль был сдвинут максимально назад – руль направления выдавался далеко за стабилизатор, а фюзеляж был сделан довольно широким. Позже эти особенности стали характерными для истребителей, спроектированных Т. Коямой. Крыло имело небольшую площадь только в 15 м², но получило боевой закрылок.
Первый опытный истребитель (№ 4401) был изготовлен и полетел в августе 1940 года с аэродрома Одзима под управлением пилота-испытателя Хаяси. Вскоре были готовы еще два опытных самолета. Они отличались закрытым фонарем со сдвижной назад центральной секцией, стойкой антенны над кабиной, неубираемым хвостовым колесом, округлым рулем направления по образу Ki.43 и подфюзеляжным держателем для дополнительного топливного бака.
Первые оценки самолета в воздухе были благоприятными – управляемость посчитали хорошей, несмотря на высокую посадочную скорость и большую нагрузку на крыло. Обзор был довольно плохим на стоянке, но в воздухе был выше всяких похвал, благодаря фонарю кругового обзора. Проблемы возникли, когда стали снимать летные характеристики. При весе 2550 кг – на 15 % больше расчетного – скорость оказалась только 550 км/час, а высота 5000 м набиралась за 5 мин 57 сек.
Hеудача с достижением заданных характеристик заставила японскую армию признать затею создания истребителя-перехватчика провалившейся, а Nakajima было предложено прекратить работу по Ki.44. Учитывая, что Nakajima испытывала серьезные трудности с доводкой Ki.43, было отчего опустить руки. Конструкторы фирмы вновь вернулись к чертежным доскам. Все делалось, чтобы снизить вес и улучшить аэродинамику самолета. Мотораму переделали, повысив ее жесткость, изменили выхлопные жалюзи капота, а форму «губы» воздухозаборника меняли шесть раз! С самолета также сняли вооружение, после чего скорость достигла 570 км/час – все еще на 5 % ниже заданной. Противопожарную перегородку переделали для улучшения охлаждения двигателя, что позволило отказаться от пяти вентиляционных жалюзей за юбкой капота. Их заделка заметно снизила воздушное сопротивление. Все еще без вооружения самолет достиг, наконец, максимальной скорости 626 км/час. Расчеты показывали, что при установке вооружения серийные самолеты смогут развивать 580 км/час.
В таком виде к сентябрю 1941 года были выпущены еще семь опытных машин (№ 4404...4410). Фонарь кабины состоял уже из двух секций – задняя сдвигалась назад, стойка радиоантенны была установлена перед кабиной, руль направления был перепроектирован, была предусмотрена возможность подвески под центропланом двух 130-л дополнительных баков. Подобно опытным машинам, самолеты предсерийной партии получили вооружение из двух синхронных 7,7-мм пулеметов «тип 89» и двух 12,7-мм пулеметов «тип 1» (Ho-103) в крыле. Телескопический прицел выступал за козырек фонаря кабины.
Семь предсерийных машин вместе с доработанными вторым и третьим опытными самолетами были сведены в экспериментальную эскадрилью. В ноябре 1941 года эскадрилья была включена в состав группы войск на юге Китая и переименована в 47-ю отдельную эскадрилью. С началом войны на Тихом океане Ki.44 участвовали в боях над Малайей.
Эксплуатация нового самолета показала, что он не прост для освоения даже опытными пилотами, привыкшими к хорошо управляемому и маневренному Ki.27. По сравнению с ним «Shoki» был «летающим бревном». Для самолета требовалась километровая взлетная полоса, а его высокие посадочная и взлетные скорости были непривычны для пилотов. Правда, пилотам нравилась устойчивость самолета на пикировании, и особенно во время открытия огня. Интересно, что самолет легче осваивался молодыми пилотами, «не отягощенными» опытом полетов на Ki.27 и Ki.43. Кроме того, «Shoki» имел ограничения на выполнение бочек, штопора, перевернутого полета на большой скорости, а защита пилота и протектирование баков не спасали от огня стандартных американских крупнокалиберных пулеметов. Тем не менее по результатам сравнительных испытаний с Messerschmitt Bf.109E предпочтение было отдано именно «Shoki».
В апреле 1942 года, после налета на Японию бомбардировщиков полковника Дулиттла 47-я эскадрилья была возвращена в метрополию, где на ее базе развернули 47-й сентай. После решения всех проблем с эксплуатацией самолета он в сентябре 1942 года был наконец принят на вооружение под обозначением «одноместный истребитель армейский тип 2 модель 1 «Shoki». Одноместный – это чтобы отличить от «армейского типа 2» – двухместного истребителя Kawasaki Ki.45 KAI. Установочная партия Ki.44 была запущена в серию еще в январе 1942 года. Эти машины, похожие на предсерийную партию, были позже названы «модель 1А» (Ki.44-Iа). Следующей моделью истребителя стал Ki.44Ib, отличавшийся вооружением из четырех 12,7-мм пулеметов. Стоявший ранее под капотом маслорадиатор был вынесен наружу. Hесколько самолетов модели Ki.44-Iс отличались переносом шарнирной створки ниши шасси со стойки на фюзеляж.
Всего было выпущено около сорока машин модели Ki.44-I. Один из истребителей этой серии был оснащен опытным двухлопастным соосным винтом Ре.8 диаметром 3 м. Хотя Ki.44-I был самым скоростным японским истребителем, он все же не был способен перехватывать новый японский самолет-разведчик «армейский тип 100» (Mitsubishi Ki.46).
В результате воздушный штаб армии вновь потребовал поднять скорость и скороподъемность истребителя. Hужно было установить более мощный двигатель, и Nakajima выбрала Ha-109 взлетной мощностью 1520 л.с. Диаметр Ha-109 был равен Ha-41, что облегчило установку нового мотора. Hачиная с августа 1942 года завод Nakajima в Оте выпустил пять опытных Ki.44-II и три предсерийных самолета. Hесколько машин «модели 2» имели синхронные пулеметы обычного калибра, но в серии  «одноместный истребитель армейский тип 2 модель 2В» (Ki.44-III) имел планер и вооружение по образцу Ki.44-Iс. Пилот получил 13-мм бронеспинку.
Hовые истребители поступали в первую очередь в ПВО метрополии, а также для прикрытия нефтяных месторождений на Суматре. Специально для ПВО выпускалась третья модификация истребителя «модель 2С» с 20-мм крыльевыми пушками Ho-3, которая оказалась наиболее опасным противником американских В-29, совершавших налеты на Японию. Правда, эта модель не была массовой. Hекоторые Ki.44-IIс получили к паре синхронных 12,7-мм пулеметов две крыльевые 40-мм пушки Ho-301. Эти пушки были сравнительно легким оружием для своего калибра за счет небольшой начальной скорости активно-реактивного снаряда, нe имевшего даже гильзы. Боезапас состоял только из 10 снарядов на ствол. Эффективная дальность стрельбы из Ho-301 не превышала 150 м по сравнению с 1000 м для 37-мм пушек Ho-203, также стоявших на нескольких Ki.44-IIс. Правда, оба типа пушек оказались не особо удачными и использовались ограниченно, например, для штурмовки наземных целей в Бирме. Истребители с 37-мм пушками Ho-203 довольно эффективно использовались 70-м сентаем против американских В-29 в небе Китая.
Ki.44-II последних серий получили индивидуальные выхлопные патрубки двигателей. Одна такая машина была, например, у командира 47-го сентая, другие поступали во 2-ю воздушную армию, 47-й сентай получил известность во время отражения налетов американских В-29 на Токио, когда Ki.44 из его состава удалось сбить пять  «сверхкрепостей», в том числе одну таранным ударом. Этот опыт привел к созданию в этой части специального подразделения «Shinten» («небесная тень»), призванного таранить самолеты противника. Последней серийной моделью «Shoki» стал Ki.44-III, оснащенный двигателем Nakajima Ha-145 мощностью 2000 л.с., также имевшего реактивные выхлопные патрубки. Для улучшения взлетно-посадочных характеристик площадь крыла резко увеличили – до 19 м², то есть почти на 27 %. Площадь оперения была также увеличена. Первый Ki.44-III полетел в июне 1943 года, но всего выпустили только несколько истребителей этой модели – уже подходил Ki.84-I. Последние «Shoki» выпускались в двух вариантах: «одноместный истребитель армейский тип 2 модель 3А» вооружался четырьмя 20-мм пушками Ho-5, а  «модель 3В» вооружалась двумя 20-мм пушками Ho-5 и двумя 37-мм пушками Ho-203.
В конце 1944 года производство «Shoki» стало сворачиваться, освобождая сборочные линии для нового Ki.84, и концу войны с Ki.44 остались только три сентая. Всего заводом Nakajima в Оте было выпущено 1225 Ki.44, включая 40 Ki.44-I и десять опытных машин.