Data science, machine learning hk. (6. sayfa)

matematiğin hangi alanları lineer cebir olasılık ve istatistik dışında?

complex algebra, reel analiz, nümerik analiz vs. gibi soyut matematik kavramları da girer mi?

Açıkçası buna kesin ve net bir cevabım yok çünkü ilk cümlede bahsettiğiniz lineer cebir, olasılık ve istatistik mevzularının da çerçevesi fazlasıyla yoruma bağlı. Örneğin; kimisi istatistiği temel frekansçı istatistik olarak dikkate alarak iki popülasyonun ortalama farkından ibaret olduğunu sanır. Onun için temel Z tablosunu okumak yapabileceği en top seviye iştir ve muhtemelen yaptığı estimation işi kendisi için yeterlidir. Kimisi ise daha saf istatistikçidir ve çıkarımsal istatistiğe önem verir. Oranlar testi, ki-kare testleri, non-parametrik testlere kadar işin istatistik boyutunu bilir fakat belki bayesçi istatistikte ciddi eksiklikleri vardır ve olayı ml ile bağdaştıramaz. Kimi de çıkarımsal istatistik konusunda yeteri kadar fikri olmaksızın bayesçi istatistiğin temellerini biliyordur. Bu kişi temel ml problemlerinin matematiğinde problem yaşamaz fakat explainable ai veya ml konuları geldiğinde bilgisi yeterli gelmiyor olabilir. Benzerleri lineer cebir için de söylenebilir. Cebirin temelleri, bütün matris notasyonları, pseudoinverseler, vektör uzayları, sıfır uzayları, determinantlar, gram schmidt yöntemler vs. hepsi gayet iyi biliniyor olabilir lakin işin geometrik açıklaması konusunda eksik olunabilir. Yani kişi örneğin bir determinantı hesaplayabilirken "Determinantı bana tanımla." dediğinizde yüzünüze yalnızca bakıp kalabilir. Bunun n boyutlu bir uzayda hiperküp oluşturduğunu size söyleyemeyebilir. Olasılıkta ise temel kombinatoryel problemleri çok iyi çözebiliyor olup işin bayes kısmında çuvallayabilir. Kısacası bir konuyu bilmek veya bilmemek bana kalırsa doğrudan siyah ve beyaz alanlar değiller. Dolayısıyla ML için A, B, C, D bilinmeli ve bunlar yeterlidir demek bence doğru değil. A, B, C ve D biliniyor ama ne ölçüde biliniyor? Hangi konuları biliniyor? Hangi bakış açısıyla ele alınıyor? Kısacası bu işin çerçevesini iyi belirlemek gerekiyor.

Sorunuza tam anlamıyla bir cevap olabilmesi açısından şunu söyleyebilirim: Bence nümerik analiz haricinde bahsettiğiniz diğer 2 konu ml'in teknik tarafında bile size doğrudan anlamlı bir fayda sağlamaz. Ancak multivariate calculus bu işin olmazsa olmazı. N boyutlu uzayda geometrik düşünme yeteneği çok kritik. Lineer cebiri sadece denklem sistemlerinin çözümünden ibaret saymamak yine çok önemli. Olasılığı işinde k tane top olan bir kutudan birkaç tane top çekmekten ibaret saymamak da aynı şekilde. İstatistik konusu ise benim en çok önem verdiğim unsurlardan bir tanesi. İşin explainable boyutu bana kalırsa 2020 sonrasında çok ciddi ivme kazandı ve kazanmaya devam edecek. Bu işe yeni başlayanlar arasında Fisher'in istatistiği yabana atılıyor fakat iş dönüp dolaşıp çıkarımsal istatistiğe gelecek ve geliyor. Özetle, bunların hepsi üzerine ciddi efor ve zaman harcanması gereken konular. Çok kolay bir şekilde ben biliyorum diyerek işin içinden çıkılabilecek unsurlar değil. Kişisel olarak çok uzun zamandır bunların üzerine düşünmeme rağmen hiçbir konuda kendimi yeterli görmüyorum, muhtemelen de görmemeye devam edeceğim.

Son olarak da eğer ilgileniyorsanız çok kişinin bilmediğini düşündüğüm bazı çalışma kaynakları önerebilirim. Bu kaynaklar youtube'da zaten yüzbinlerce kişinin takip ettiği ve bilmeyeni dövüyorlar diyeceğimiz kaynaklar olmayacak. Daha kıyıda köşede kalmış ama değeri bilinmeyen kaynaklar.

Bence Tübingen üniversitesinin şu playlisti muazzam bir kaynak. Aynı zamanda bu youtube kanalı da yalanıp yutulacak cinsten:

youtube

Lectures of the course "Mathematics for Machine Learning" by Ulrike von Luxburg, University of Tübingen, Winter Term 2020/21. Updated slides (with typos corr...

https://www.youtube.com/playlist?list=PL05umP7R6ij1a6KdEy8PVE9zoCv6SlHRS

Olasılık ve istatistik açısından Joe Blitzstein'ın meşhur Stat 110 dersini tek geçerim:

Harvard Universityyoutube

We introduce sample spaces and the naive definition of probability (we'll get to the non-naive definition later). To apply the naive definition, we need to be able to count. So we introduce the multiplication rule, binomial coefficients, and the sampling table (for sampling with/without replacement when order does/doesn't matter).

https://www.youtube.com/watch?v=KbB0FjPg0mw&list=PL2SOU6wwxB0uwwH80KTQ6ht66KWxbzTIo

Kitap olarak ise meşhur "Mathematics for Machine Learning" kitabı önerim olur.

Son olarak ise bence bu işte iyi bir seviyeye gelmiş olmanın ölçüsü Bishop'ın "Pattern Recognition and Machine Learning", Murphy'nin "Machine Learning: A Probabilistic Perspective" ve Johnson & Wichern'in "Applied Multivariate Statistical Analysis" kitabı gibi kitapları okuyup anlayabilir seviyede olmaktan geçiyor.

çok teşekkür ederim hocam, çok kıymetli bu yazdıklarınız umarım benim dışımdaki insanlara da faydası dokunur.

Rica ederim, ne demek.

bu roadmap dekiler mantıklı mı sizce hocam, buraya bakarak ilerlenir mi? Ek olarak, yukarıda data science için matematik mühendisliğini önermişsiniz. bu bölüm dışında konuşmak gerekirse, diğerlerinden hangisi daha iyi olur? mesela istatistik okumak mı daha iyi olur data science için yoksa endüstri mühendisliği mi?

AI Expert Roadmap (am.ai)

bir öncekinde etiketleyememişim kusura bakmayın.

Bu ve bu gibi astronomik sayıda roadmap olduğundan dolayı bu işe başlamanın net bir doğrusu olduğuna inanmıyorum. Eğer kesin bir yolu olsaydı tek bir roadmap ve belki onun ufak varyasyonları olup herkesin onu takip etmesini beklerdik. Ancak bu iş muhtemelen bu işe bulaşmış kişi sayısı kadar ardında hikaye barındırıyordur. Dolayısıyla burası takip edilmeli veya edilmemeli gibi iddialı bir cümle kurmaktan kaçınırım. Öte yandan yine de o roadmapi yorumlamak gerekirse fazlasıyla detaylı olduğu gayet açık. Hatta bazı noktalarda muhtemelen hiç kullanmanıza gerek kalmayacak ekstra ayrıntılara da girdiği gözüküyor. Kısacası burayı takip etmeyi kafanıza koyduysanız iyi bir motivasyon olacaktır ama takip etmek gibi bir zorunluluğunuz bulunmuyor.

2. sorunuza gelelim. Öncelikle endüstri mühendisliğinin içinden birisi olarak data işlerinin endüstriyi özünden net şekilde saptırdığını söyleyerek başlayayım. Son 2-3 senede bölümü kazanan yeni lisans öğrencilerinde de ciddi miktarda bilgisayarı tutturamadığı için burayı yazanlar olduğunu gözlemliyorum. Dolayısıyla bu bölüme gelip de ergonomi, üretim planlama, yönetim organizasyon vb. dersleri alarak dumura uğruyorlar ve kısmen mutsuz oluyorlar. Birçok üniversitenin endüstri mühendisliği de değişen yapıya ayak uydurarak ve bence özünden de ödün vererek fazlasıyla data analytics ve ml temelli dersleri programına ekledi. Endüstri mühendisliği verimlilik temelli sistemler tasarlayan bir mühendislik iken ve bölümün core alanları üretim, yönetim ve yöneylem iken bence bu sokuşturmalar çiğ kalıyor. Endüstrinin doğal yapısı içinde hiç mi data yoktu peki? Muhakkak vardı. Üretim, yönetim ve yöneyleme ek olarak bilgi alanı da endüstrinin temel alanı. Ancak bu alan son birkaç seneye kadar insan-bilgisayar etkileşimi ve database management'dan fazlası değildi. Hatta benden önceki 1-2 önceki jenerasyon (2000'ler başı civarı) için endüstri mühendisliği, makina mühendisliğinin bir kolu olarak görülen bir mühendislikmiş mesela. Halen öyle mi bilmiyorum ama bir ara Yıldız Teknik'de zaten endüstri makina fakültesindeydi. Bunlara ek olarak yöneylemi bir kenara koyduğumuzda endüstrideki matematiğin fazlasıyla soft olması -ve hatta belki hiç olmaması sebebiyle- bölüme yeni girmiş bir öğrenci bölümden çıkartken bilgilerinin de erozyona uğramasıyla muhtemelen daha az bir matematik bilgisiyle mezun olmuş oluyor. Kısacası ben endüstrinin özellikle son birkaç yılda bilgisayarı tutturamayan, "her şeyden biraz biraz var diyen" öğrencilerin uğrak noktası olması sebebiyle yükseklerde gezindiği kanaatindeyim ve bu düzen bir noktada bitecek ve bölüm özüne dönmek durumunda kalacak. En azından bir miktar törpülenme olacak. Endüstri kendi özüne döndüğü noktada da muhakkak en seçkin bölümlerden birisi olacaktır ama bu söylediklerim bana göre data kısmını kapsamıyor. Bu yüzden, eğer mesele data işleri ise istatistik okunmasını ben olsam endüstri mühendisliğine tercih ederdim. Endüstrinin kendi içerisinde birçok önemli avantajı muhakkak var ama bu avantajların data tarafında hemen hemen hiç geçerli olmadığını düşünüyorum.