Kulüp, Ziraat Bankası memuru İbrahim Yekta, Numune Mektebi öğretmeni İbrahim Bigam, Tahmil Tahliye memuru Edip Buran, memur İhsan Dağıstan, 23. Alay yaveri Üstteğmen Hasan Tahsin, ticarethane sahibi Hamit Abey, tüccar Hakkı Cemal Üçer, tüccar Hayri Güntekin, gümrük memuru Rauf Süleymaniyeli, gümrük memuru Sami İstanbullu, posta memuru Semih Can, tüccar Ömer Cevdet Türkmenelili, iskele memuru Asım Güler, tüccar Fevzi Serdengeçti, vapur kumpanyası sahibi Kazım Kırzade, Ticaret Odası memuru Lütfi Resimci, tüccar Muhammer Yeğin, 23. Alay İşae Subayı Mustafa Lütfü, Muhasip Muhip Batıbeki ve Gümrük memuru Necati Salim tarafından 16 Ağustos 1925 Perşembe günü Mersin'de kurulmuştur.
İbrahim Yekta ve arkadaşlarının kulübü kurmalarındaki amaç Türk gençliğinin, fizik ve moral kabiliyetlerini ulusal ve inkılâpçı amaçlara yöneltmek, yurt müdafaası amaçlarını geliştirmek, beden terbiyesi ve spor yapmasını temin etmekti. Bu amaç doğrultusunda kurulan ve de etkinliğe geçen kulüp çevrede büyük ilgi uyandırmış ve kısa zamanda Mersin halkının sevgisini kazanmıştır.
Profesyonelliğe Geçiş
Kuruluşundan itibaren 1949 yılına kadar bölge birinciliğini kimseye kaptırmayan Mersin İdman Yurdu, 1944 yılında Ankara'da yapılan Türkiye Şampiyonası'nda üçüncü olma başarısı göstermiştir. 1963-64 sezonunda şampiyon olarak 2. Lig'e çıkan Mersin İdman Yurdu, 2. Lig'deki üçüncü senesinde profesyonel bir kadro oluşturarak şampiyon olmuş ve de ilk defa o yıl (1966–67) Lefter Küçükandonyadis öncülüğünde Türkiye 1. Ligi'ne çıkmıştır.
Profesyonellik yılları
Kulüp, tarihinin ilk anlamlı kupası olan Başbakanlık Kupası'nı da aynı yıl Amatör Küme şampiyonu olan İzmir Denizgücü’nü 2–0 yenerek dönemin başbakanı Bülent Ecevit’ten almıştır. 1967 yılından itibaren aralıksız 7 yıl süreyle 1. Lig'de oynayan Mersin İdman Yurdu'nun bu dönemdeki en büyük başarısı 1969-70 sezonunu evinde oynadığı maçlarda mağlubiyet yüzü görmeden ligi 4. sırada bitirmesidir. Takım 1973-74 sezonunda 2. Lig'e düşmüş, 1975-76 sezonunda ise tekrar yükseldiği 1. Lig'de toplam 11 sezon boyunca mücadele etmiştir. Mersin İdman Yurdu, 1982-83 sezonunda evinde oynadığı 17 maç da kalesinde sadece 1 gol görerek bir sezonda kendi evinde en az gol yiyen takım olmuştur.
Kulübün tarihindeki en büyük başarılarından biri de Türkiye'yi Kupa Galipleri Kupası'nda temsil etmiş olmasıdır. 1982-83 yılında Türkiye Kupası finalde Fenerbahçe’ye elenerek kupayı alamamasına rağmen, Fenerbahçe’nin aynı yıl şampiyon olması ile Avrupa kupalarında mücadele hakkı kazanmıştır. Eleme maçında Spartak Varna takımına Mersin’de 0-0 ve deplasmanda 0-1’lik skorlarla elenen Mersin İdman Yurdu, o tarihten sonra düştüğü 2. Lig'den, 29 sene sonra 2010-2011 sezonunda Bank Asya 1. Ligini şampiyon tamamlayarak Süper Lig'e çıkmıştır.
Renkler, arma ve flama
Mersin İdman Yurdu, ilk başta Mersin Gençlerbirliği adıyla, renkleri kırmızı-beyaz olarak kurulmasına rağmen daha sonraki yıllar kulübün ismi Mersin İdman Yurdu, renkleri ise kırmızı-lacivert olarak değiştirilmiştir.
Kulübün arması ortada kırmızı zemin üzerine MİY harfleri, onun etrafında Mersin İdman Yurdu yazısı ile kuruluş yılı olan 1925 yılı bulunan, aynı oranda değişik ölçülerde yapılan armadır.
Kulübün flaması, boyu eninin bir buçuk katı olan eşit ende ve yatay yönde ikisi üst ve alt kenarda, birisi ortada kırmızı ile iki lacivert şerit içerir. Gerektiğinde ölçüler yönetim kurulu kararı ile değiştirilebilmektedir.
Mersin İdman Yurdu'nun taraftar grubunu ismi Kırmızı Şeytanlardır. Ayrıca kardeş takımları da Sakaryaspor, Giresunspor, Bucaspor ve Karabükspor'dur.
Ezeli Rekabetler
Mersin İdman Yurdu'nun Çukurova bölgesindeki takımlardan Adana Demirspor,Adanaspor ve Tarsus İdman Yurdu kulüpleriyle geçmişten gelen bir rekabeti vardır. Bu takımların birbirleriyle oynadıkları maçlar Çukurova Derbisi olarakta adlandırılır.