Когда 07.07.1937 уже в третий раз за десятилетие начались боевые действия между Японией и Китаем, императорская армия только что начала перевооружение своей авиации, и, в результате, основная тяжесть боевых действий в небе Китая легла на лучше оснащенную авиацию флота. В начале войны армейская авиация отвечала только за воздушное прикрытие сухопутных частей в Северном Китае и обеспечение ПВО Маньчжурии.
Воздушный штаб армии воспользовался этим сравнительно спокойным для него периодом боевых действий для перевооружения своих частей на современные типы самолетов: «тяжелый бомбардировщик армейский тип 97» (Mitsubishi Ki.21), «легкие бомбардировщики армейский тип 97» и «тип 98» (Mitsubishi Ki.30 и Kawasaki Ki.32),  «стратегический разведчик армейский тип 97» (Mitsubishi Ki.15) и «истребитель армейский тип 97» (Nakajima Ki.27). Последний самолет представлял собой низкоплан с закрытой кабиной и с неубираемым шасси. Hесмотря на меньшую скорость, чем у появившихся в Европе несколько ранее Messerschmitt Bf.109B и Hawker «Hurricane» Mk.I, этот истребитель оказался в состоянии резко повысить боеспособность японской армейской авиации.
В 1934 году армия подготовила спецификации на истребитель для замены состоявшего тогда на вооружении «типа 92» – Kawanishi KDA-5. По этому заданию Kawanishi предложила свой проект – Ki.10, представлявший переделку предшественника, а Nakajima Ki.11 – расчалочный моноплан по типу американского Boeing P-26. Hесмотря на меньшую мощность своего двигателя – 640-сильного Nakajima Ha-8 против 800-сильного Kawasaki Ha-9-II, Ki.11 оказался быстрее, чем Ki.10. Hо строевые пилоты оказались еще не готовы, чтобы принять истребитель-моноплан с закрытой кабиной. В результате для производства под обозначением «истребитель армейский тип 95» был выбран более маневренный Ki.10, ставший последним бипланом армейских ВВС. Hе смотря на неудачу с Ki.11, Nakajima вывела на испытания моноплан Ki.12 с двигателем жидкостного охлаждения Hispano-Suisa 12Ycrs и пушкой в развале цилиндров.
Самолет проектировался с помощью инженеров французской компании Dewoitine и отличался использованием самых последних достижений самолетостроения: убираемым гидравлически шасси и щелевыми закрылками. С самого начала армейские высшие чины считали такой самолет «слишком» сложным для принятия на вооружение и к тому же обладавшим недостаточной маневренностью. В результате Nakajima начала работу над более «простым» проектом «тип Р.Е.» с неубираемым шасси и двигателем воздушного охлаждения.
Почти одновременно с началом работ над новым самолетом воздушный штаб выдал в июне 1935 года Mitsubishi, Nakajima и Kawasaki заказ каждой на два опытных истребителя нового типа. Правоту Nakajima, уже ведшей работы по моноплану, подтвердили и конкуренты: Kawasaki представила моноплан Ki.28 с двигателем жидкостного охлаждения Kawasaki Ha-9-II, а Mitsubishi – сухопутный вариант палубного истребителя А5М – Ki.33.
Nakajima же предложила на конкурс развитие проекта «типа Р.Е», который получил обозначение Ki.27. Единственный «тип Р.Е.» был облетан в июле 1936 года, а уже в октябре в воздух поднялся первый Ki.27. Обе машины, разработанные Т.Коямой, представляли собой свободнонесущие низкопланы под двигатель воздушного охлаждения Nakajima Ha-1а мощностью 650 л.с. и отличались только в деталях: формой киля, обтекателей шасси, фонарем кабины и капотами. «Тип Р.Е.» испытывался только на фирме и дал ценную информацию для доработки проекта Ki.27. Причем «тип Р.Е.» до конца своей карьеры был еще использован для испытания боевого закрылка – «бабочки», который Nakajima позже с большим эффектом использовала на своих самолетах. И для «типа Р.Е.» и для Ki.27 Т. Кояма выбрал максимально облегченную конструкцию крыла и новый профиль разработки Nakajima, что обеспечило самолету высочайшую маневренность. Первый опытный Ki.27 был поднят в небо с аэродрома Одзима 15.10.1936. Hа втором самолете, облетанном в декабре 1936 года, площадь крыла была увеличена с 16,4 м² до 17,6 м².
После заводских испытаний оба самолета были переданы армейскому исследовательскому авиационному институту в Тачикаве, где они участвовали в конкурсе с истребителями Mitsubishi Ki.33 и Kawasaki Ki.28. Во время испытаний Ki.27 показал максимальную скорость 468 км/час на высоте 4000 м – меньше, чем Ki.28 (485 км/час) и Ki.33 (474 км/час). Высота в 5000 м набиралась на Ki.28 за 5,15 мин, на Ki.27 – за 5,6 мин, на Ki.33 – за 5,95 мин.
Hо зато Ki.27 безусловно превосходил своих конкурентов в маневренности. В результате был получен заказ на 10 предсерийных Ki.27, которые были поставлены с июня по декабрь 1937 года. Еще во время конкурсных испытаний V-образность крыла на втором Ki.27 была увеличена на 1,5°, что улучшило управляемость, а из-за большей, чем на первом опытном самолете, площади крыла потеря скорости составила только 7 км/час, что с лихвой компенсировалось лучшей маневренностью. Более того, на предсерийных самолетах площадь крыла была увеличена еще больше – с 17,6 м² до 18,56 м², а размах крыла возрос с 10,4 м до 11,31 м. Удлиненный козырек фонаря кабины с телескопическим прицелом остался, зато металлический гаргрот за кабиной был заменен на остекленную, неподвижную секцию фонаря.
Испытания опытной партии были завершены успешно в конце 1937 года, и самолет был запущен в серийное производство под обозначением «истребитель армейский тип 97 модель А» – Ki.27а. Серийные Ki.27а подобно самолетам опытной партии получили крыло увеличенной площади, более привычный козырек фонаря, металлический неостекленный гаргрот за кабиной и более мощный двигатель Nakajima Ha-1b, на высоте 2900 м развивавший 780 л.с. Самолет был вооружен двумя синхронными 7,7-мм пулеметами «тип 89». Hа всех машинах ставились радиоприемники, а на самолетах командира звена – передатчики.
В марте 1938 года самолет появился в небе Китая, что позволило армейской авиации наконец добиться безусловного превосходства над китайскими ВВС. Почти одновременно императорская армия решила реорганизовать свои воздушные силы – смешанные части были заменены специализированными сентаями, вооруженными одним типом самолета. Первым из них 01.07.1938 стал 59-й истребительный сентай, вооруженный как раз  «типом 97». По мере поступления новых Ki.27 были введены в строй с этим типом еще и 64-й, 13-й, 4-й, 5-й и 11-й сентай. По мере разворачивания серийного производства Ki.27а был сменен на сборочной линии на Ki.27b, отличавшийся фонарем кабины с круговым обзором и переделанным маслорадиатором. Под центропланом теперь можно было подвесить четыре 25-кг авиабомбы. Вместо бомб можно было подвесить два 130-л дополнительных сбрасываемых бака. Для стрелковой подготовки под корневой частью левого крыла можно было установить фотопулемет.
Производство Ki.27b также было налажено на «Maneyu Hikoki seizo К.К.» в Харбине. Всего было выпущено 3399 Ki.27, включая 1379, выпущенных на Maneyu в Маньчжурии. Когда 04.05.1939 на монгольской границе вспыхнул конфликт в районе реки Халхин-Гол (или называемый японцами  «наманганский инцидент»), японская армия направила туда помимо других авиачастей пять истребительных сеитаев – 1-й, 11-й, 24-й, 59-й и 64-й всего 80 самолетов. По мере расширения боевых действий количество японских истребителей в этом районе возросло до 200 машин, включая даже несколько Ki.10. Во время воздушных боев Ki.27 показал безусловное превосходство над бипланами Поликарпова И-15бис и даже имел преимущество над только что выпущенным И-153, но зато «тип 97» уступал в скоростных характеристиках И-16, особенно на высотах ниже 5000 м. Ki.27 по свидетельству советских пилотов в боевой обстановке не могли развивать скорость выше 400 км/час, а высота вертикального пикирования ограничивалась 500...600 м. Hа больших скоростях начиналась ощутимая вибрация крыла, а порой и разрушение конструкции. Так что советские истребители всегда могли выйти из боя крутым пикированием. В целом потери японцев на Халхин-Голе оказались очень чувствительными: кроме самолетов были потеряны опытные пилоты, которых и так не хватало – за все время конфликта японцы даже не имели возможность провести ротацию экипажей, несмотря на их усталость.
В декабре 1941 года, когда японцы развязали войну на Тихом океане, истребителем «тип 97» были вооружены 1-й, 11-й, 50-й, 54-й и 77-й сентай, которые поддерживали вторжение на Филиппины, в Бирму, Малайю и Голландскую Ост-Индию. Другие части с Ki.27 использовались в небе Китая. Hе смотря на явное и быстрое старение самолета, он довольно успешно использовался в условиях массового превосходства японской авиации. Более того, самолет поступал и во вновь сформированные на территории Японии части, правда, перед отправкой на фронт они перевооружались на новые типы. В составе ПВО Японии Ki.27 оставались до 1943 года. Hа территории Маньчжурии самолет эксплуатировался до конца войны. По мере перевооружения на Ki.43 «Hayabusa», Ki.44 «Shoki» и Ki.61 «Hien», «тип 97» все больше использовался в качестве самолета повышенной подготовки пилотов-истребителей.
Hа учебных истребителях с колес шасси снимались обтекатели, хвостовой костыль заменялся на колесо. В таком виде самолёт получил обозначение  «учебный истребитель армейский тип 97». В конце войны некоторые такие машины использовались пилотами-камикадзе, неся до 500 кг бомбовой нагрузки.
В 1940 году, когда разработка Ki.43 испытывала определенные трудности, Nakajima выпустила облегченный вариант Ki.27 – две машины, получившие обозначение Ki.27 KAI. Максимальная скорость возросла до 475 км/ч, нагрузка на крыло снизилась до 80 кг/м², но страховки не понадобилось – проблемы с Ki.43 были успешно разрешены.