Летом 1936 года после начала испытаний Hе.114 стало ясно, что самолет не годится для замены устаревшего Hе.60 в качестве катапультного гидросамолета. В результате Технический департамент подготовил задание на новый двухместный катапультный гидросамолет. В задании определялось использование двигателя ВМW-132К и применение одно- и двухпоплавкового шасси. Заказ получили Arado и Focke-Wulf осенью 1936 года.
Традиционно считалось, что для создания небольшого поплавкового самолета требовалось использование бипланной компоновки. По такому пути пошел и Курт Танк, выбравший для своего FW.62 схему классического биплана. Конструкторское бюро Arado, не отличавшееся до того времени особой оригинальностью, выбрало для своего проекта Аr.196 схему моноплана. Предварительный анализ проектов привел к тому, что Технический департамент отдал предпочтение последнему самолету, выдав заказ сразу на четыре опытных самолета. Focke-Wulf был заказан только в двух экземплярах в качестве дублера. 
Первые два опытных Аr.196-V1 (заводской № 2589 D-IEQ) и V2 (№ 2590 D-IQI) были закончены к лету 1937 года. Это были двухпоплавковые самолеты планируемой серии А, а третий и четвертый V3 (№ 2591 D-ILRЕ) и V4 (№ 2592 D-ОVМВ) относились к серии В с одним основным и двумя подкрыльевыми стабилизирующими поплавками.
Опытные самолеты были оснащены двигателями ВМW-132Ds мощностью 880 л.с. на взлете с двухлопастным винтом изменяемого шага. а V1 сначала стояли сдвоенные выхлопные патрубки, выведенные под левый борт. Позже они были сокращены по длине и разделены на левый и правый борт. Такой вариант стал стандартным. V2 отличался некоторой переделкой руля направления, получившего роговую компенсацию, и водяных рулей. V3 отличался только поплавками. V4 отличался от последнего переделанными стабилизирующими поплавками с меньшим аэродинамическим сопротивлением и меньшим количеством подкосов. На нем также было установлено неподвижное вооружение для стрельбы вперед, хотя в задании оно не оговаривалось. Самолет получил две крыльевые 20-мм пушки МG.FF с 60 снарядами на ствол и 7,9-мм синхронный пулемет на правом борту фюзеляжа с 500 патронами. Под крыльями можно было подвесить по одной 50-кг бомбе SС.50.
Все четыре самолета испытывались в Травемюнде, где было решено окончательно выбрать тип поплавков. Гидродинамические характеристики поплавков исследовались в августе 1937 года в Геттингенском аэродинамическом институте, но ни эти испытания, ни последующие в Травемюнде не выявили явного предпочтения какой-либо из схем. Особой разницы между двухпоплавковым и однопоплавковым шасси в том, что касалось веса и воздушного сопротивления не было. Схема с центральным поплавком была более предпочтительней при посадке, особенно в неспокойную погоду, передавая нагрузку на конструкцию фюзеляжа, в то время как тряска при посадке на двухпоплавковое шасси передавалась на крылья. Однако, двухпоплавковое шасси вело себя лучше при скоростной рулежке и на взлете. Кроме того, стабилизирующие поплавки имели тенденцию «окунаться», из-за чего самолет на взлете при определенных условиях был неустойчивым.
Так как никакого решения не было принято, Arado получила указание готовить к серии двухпоплавковый вариант и одновременно построить третий опытный самолет серии В для дальнейших испытаний в Травемюнде. Третий самолет серии В – Аr.196-V5 (№ 0090 D-IРОВ) был закончен осенью 1938 года. Одновременно Arado провела модернизацию V1 для установления международных рекордов в своем классе. а самолет был установлен новый более мощный двигатель ВМW-132К, трехлопастный винт изменяемого шага, фонарь кабины стал сглаженным и полностью закрытым, были и еще небольшие изменения. Но Рейхсминистерство Авиации предложило Arado прекратить работу по соображениям секретности.

Контракт на предсерийное производство охватывал выпуск 10 поплавковых Аr.196A-0 с двигателем ВМW-132К  мощностью 960 л.с. на взлете,  970 л.с. на высоте 450 м  и 750 л.с. на высоте 1500 м. Конструкция поплавкового самолета была обычной для фирмы – сварной ферменный фюзеляж из стальных труб и обшивкой из легкого сплава в носовой части и тканевой – в хвостовой. Крыло двухлонжеронное цельнометаллическое. Все подвижные плоскости имели тканевую обшивку. Однореданные поплавки были разделены на семь водонепроницаемых отсеков, в которых находились 300 л топлива, спасательная лодка и аварийный запас провизии. Креплений для запуска с катапульты не было. Вооружение было сокращено до одного подвижного пулемета MG.15 на установке Arado с 525 патронами и подвесок для двух 50-кг авиабомб. Вес пустого самолета и взлетный вес составляли соответственно 2015 кг и 2 927 кг.
Первый Аr.196А-0 сошел со сборочной линии в ноябре 1938 года, а в начале 1939 года предсерийные самолеты проходили активные испытания. По их результатам были внесены лишь незначительные изменения, включавшие некоторое усиление конструкции и перестановку оборудования.
Необходимые модификации были внесены в серийную версию Аr.196А-1, 20 экземпляров которой были заказаны с началом поставок с июня 1939 года. Самолет был усилен и получил крепления для запуска с катапульты. Аr.196А-1 стал заменять Не.60 в течение лета в составе двух эскадрилий кригcмаринe, базировавшихся в Вильгельмcгафен и в Киль-Хольтенау и получившие обозначения «эскадрильи корабельных самолетов» I/196 и V/196. Самолеты этих эскадрилий размещались на кораблях кригсмаринe. Один из первых получил Аr.196A-1 «Admiral Graf Spee», который в середине августа вышел на транспортные коммуникации в Атлантике. Другими кораблями, получившими Аr.196A-1 буквально за несколько недель до начала войны, были «Scharnhorst», «Gneisenau», «Deutschland» (переименованный в феврале 1940 года в «Luetzov»), «Admiral Scheer» и «Prinz Eugen».
С завершением серии из 20 Аr.196А-1 завод в Варнемюнде переключился на новый Аr.196А-2, поставки которого начались с ноября 1939 года. 20 Аr.196А-1 были закончены к концу 1939 года, но из-за плохой погоды заводские испытания прошли только несколько машин. Вес пустого и взлетный вес возрос соответственно с 2045 кг и 2957 кг у Аr.196А-1 до 2076 кг и 3 180 кг у Аr.196А-2, который стал первой серийной моделью с двумя крыльевыми 20-мм пушками и синхронным 7,9 мм пулеметом. Производство самолета в Варнемюнде шло невысоким темпом – в течении 1940 года были выпущены только 98 машин в большинстве своем А-2, но было и несколько А-4, которые стали сходить со сборочной линии с конца 1940 года.
Последний вариант должен был заменить Аr.196А-1 в качестве катапультного самолета на борту кораблей, и нес вооружение аналогичное А-2. Имелись некоторые усиления конструкции. Самолет получил дополнительную радиостанцию FuG.16Z и отличался коком винта, который был ранее только на опытных машинах. Весной 1941 года А-4 был сменен в серии на Аr.196А-3, который имел практически такие же изменения в конструкции. В 1941 году завод в Варнемюнде поставил 97 самолетов, в большинстве своем А-3. Этот вариант стал самым многочисленным. В 1942 году головной компанией были поставлены еще 94 самолета, одновременно производство А-3 началось на заводах SNСА в Сан-азeре. Первый самолет был поставлен оттуда в июле. Всего до конца года выпуск французского завода составил 13 машин. Однако, после завершения еще 10 самолетов до марта 1943 года, завод в Сан-азере вышел из программы производства самолета Arado. В этом году завод в Варнемюнде изготовил 83 машины.
В начале 1943 года на поток был поставлен новый Аr.196А-5, который имел улучшенное радиооборудование (FuG.16Z, FuG.25А, позже замененная на FuG.141), новые приборы и улучшенное оборонительное вооружение из спаренного 7,9-мм пулемета МG.81J с 2000 патронами. Завод Fokker в Амстердаме начал выпуск Аr.196А-5 летом 1943 года, выпустив 11 машин до конца года и еще 58 до августа 1944 года, когда производство было прекращено. Еще 22 Аr.196А-5 были выпущены в Варнемюнде до марта 1944 года. Всего, таким образом, было выпущено 526 машин, исключая 10 А-0 и опытные.
Кроме двухпоплавкового варианта Аr.196А Arado выпустила в 1940...41 годах небольшую серию однопоплавковых Аr.196В-0 для проведения испытаний. Эти самолеты недолго использовались в составе эскадрильи I/196 в Вильгельмcгафенe в 1941 году. В том же году начались проектные работы над Аr.196С. Самолет должен был быть более аэродинамически чистыми иметь более совершенное оборудование и больший вес, чем Аr.196А, что потребовало разработку новых поплавков. Работы над ними были завершены в 1941 году в Институте морского флота в Гамбурге, но вскоре после этого работы над Аr.196С были прекращены. 

Помимо упомянутых выше эскадрилий корабельных самолетов I/196 и V/196, которые были первыми оснащены Аr.196A, была сформирована 1-я эскадрилья 706-й группы береговой авиации смешанного состава на Аr.196А и Hе.115. 05.05.1940 года два Аr.196A-2 из этой группы, действуя из Ольборга в Дании, успешно провели захват британской подлодки «Seal» в Каттегате. Весной 1941 года Аr.196A-4 запускались с борта «Бисмарка» при попытке отогнать английские «каталины», следовавшие за линкором во время его первого и последнего боевого похода. К середине 1941 года части с Аr.196 стали действовать еще более активно. Эскадрилья V/196 базировалась на французском берегу Бискайского залива со своими Аr.196A и Hе.114A, ведя охоту за британскими Whittley из состава берегового командования. Последние патрулировали на путях выхода немецких подводных лодок в океан. В качестве ответной меры англичанам пришлось применять «бофайтеры».
Эскадрилья корабельных самолетов I/196 оставалась в Вильгельмсгафене до 25.08.1941, когда половина ее состава – 15 самолетов – была переведена в Ставангер (Hорвегия) в состав V воздушного флота. Еще три самолета этой части действовали автономно под обозначением Kette Arado. I/Ku.Fl.Gr.706 была возвращена в Германию из орвегии в августе 1941 года для перевооружения, но два полка дальней разведки получили Аr.196A: II/SAGr-131 действовала в Hорвегии, имея в своем составе и BV.138, а II/SAGr.125 действовала на восточном фронте – на Балтике в составе I воздушного флота. Эскадрилья V/196 позже получила обозначение I/SAGr.128 и использовалась в качестве морских разведчиков в Бискайском заливе и над Ла-Маншем.
Летом 1943 года была сформирована вторая эскадрилья II/SAGr.128. Эскадрилья I/196 оставалась в орвегии до возвращения в Германию в 1944 году и была расширена до полка трехэскадрильного состава. К концу войны в Европе эта часть вновь была сокращена до одной эскадрильи, оставаясь все еще в составе Кригсмарине, как часть «воздушного дивизиона» в Гроссенброде. Сохранив смешанный состав из Аr.196A и BV.138, II/SAGr.131 продолжала действовать с баз в Hорвегии до 1944 года. В начале того же года группа получила еще и штабную эскадрилью на Аr.196. Оба подразделения были расформированы к концу года.
Другая эскадрилья морской разведки с Аr.196A – II/SAGr.125 действовала на Балтике в течении второй половины 1941 года вместе с другими эскадрильями полка на BV.138, пока не была переведена на Черное море в Констанцу. Вскоре после прибытия в Констанцу II/SAGr.125 с Аr.196A-3 была переброшена в Аеджеан. Эскадрилья позже активно использовалась в восточном Средиземноморье. В сентябре 1943 года она была переименована в SAGr.126, действуя в составе полка с баз на Крите. С переименованием в сентябре 1943 года из II/SAGr.125 в IV/SAGr.126, часть представляла собой полк четырехэскадрильного состава из штабной, 1-й, 2-й и 4-й эскадрилий на Аr.196A и 3-й на BV.138. Этот полк действовал в восточном Средиземноморье и на юго-востоке Европы весь 1944 год, пока в начале 1945 года штабная, 1-я и 2-я эскадрильи не были переброшены на северный сектор Восточного фронта в состав VI воздушного флота.
Сравнительно немного Аr.196A было поставлено союзникам Германии. В Румынии они состояли в 101-й и 102-й эскадрильях береговой разведки, действуя с конца 1943 года часто под прикрытием IАR.80 из 46-й истребительной эскадрильи. Аr.196A-3 использовались также в болгарской 161-й эскадрилье в Варне с осени 1942 года до лета 1944 года.