Рождение галереи связывают с 1845 годом, когда в части большого вновь отстроенного художником на феодосийской набережной особняка для публичного обозрения были выставлены его первые 49 работ. Тогда же и там же начала действовать школа живописи Айвазовского.
Галерея стала первым на территории Российской империи музеем одного художника и третьим после Эрмитажа и Румянцевского музея общедоступным культурным местом.
После смерти Айвазовского в 1900 году галерея по его завещанию стала собственностью города.

В галерее находится собрание из около 13 тысяч произведений морской тематики, в том числе ей принадлежит самая большая в мире коллекция произведений И. К. Айвазовского (416 работ).