Фёдор Коваленко родился 16 мая 1866 года в многодетной крестьянской семье. Окончив двухклассное училище, в 1881 году он вместе с семьей перебрался в Екатеринодар.

Отец отдал мальчика рассыльным в бакалейный магазин купца Пяткова, где Фёдор со временем дослужился до кассира. Именно с жалованья кассира он начал приобретать свои первые книги, гравюры и картины. Позже Коваленко устроился приказчиком к своему родному брату.

К 1890 году частная коллекция разрослась до таких размеров, что владелец счёл возможным устроить у себя на дому первую выставку.

В начале 1903 года меценат написал письмо в Екатеринодарскую думу. Он выразил желание передать уникальное собрание в дар родному городу с рядом условий, в том числе что останется его хранителем. Доход от галереи Коваленко планировал тратить на пополнение фондов и стипендии для одарённых студентов-художников.

Городские власти приняли прошение благосклонно. 11 апреля 1904 года в здании городской управы на улице Красной торжественно открылась Екатеринодарская городская картинная галерея имени Ф. А. Коваленко (вскоре при ней также появились литературный и археологический отделы).