Usaha Kerajaan di dalam memberikan latihan kepada para nelayan di negara ini, telah bermula dengan penubuhan sebuah Sekolah perikanan Laut di Gelugur, Pulau Pinang pada tahun 1952. Ini telah seterusnya diikuti pula dengan penubuhan sebuah lagi Sekolah Perikanan Laut, di Seberang Takir, Kuala Terengganu pada tahun 1963 khusus bagi menampung keperluan latihan para nelayan daripada negeri-negeri Pantai Timur Semenanjung. Menyedari keperluan semasa serta memandang kepada kemajuan pesat di dalam Industri Perikanan, sebagai satu usaha positif ke arah memajukan lagi industri perikanan negara maka sebuah institut yang dikenali sebagai Institut Latihan Perikanan Malaysia (ILPM) telah seterusnya ditubuhkan dengan bantuan dan kerjasama Pertubuhan Bangsa-Bangsa Bersatu melalui Badan pertubuhan Makanan dan Pertanian (FAO).

Mula dilaksanakan pada 5 November 1969 dan terletak di Batu Maung, Pulau Pinang, ianya beroperasi sepenuhnya pada awal tahun 1972. Pada bulan Jun 1992, ILPM telah berpindah pula ke kompleks barunya di Chendering, Kuala Terengganu dari Pulau Pinang. Kompleks baru yang mempunyai kelengkapan dan kemudahan latihan lebih moden ini telah dibina dengan belanja kira-kira RM18 juta dengan bantuan Kerajaan Jepun di bawah Program JICA.

Kompleks baru ini bukan sahaja menawarkan pelbagai kursus dan latihan kepada nelayan, penternak dan pengusaha-pengusaha industri perikanan tetapi juga memainkan peranan di dalam memberikan latihan kepada kakitangan Jabatan Perikanan Malaysia. Pada awal tahun 1999, ILPM telah ditukar nama kepada Institut Perikanan Malaysia bagi mencerminkan peranannya yang aktif di dalam membangunkan serta memesatkan lagi pembangunan industri perikanan negara Institut Perikanan Malaysia telah dijenamakan semula sebagai Akademi Perikanan Malaysia pada April 2014.