Web Scraping Hakkında Bir Soru

Btk akademi python derslerinde beautifulsoup ile bir alışveriş sitesindeki ürünlerin ve fiyatlarının terminalde yazdıran bir program yapıyordu. Ben de yapmak istedim ama internette Web scraping yasal mı konularını görünce şüpheye düştüm. Sonuçta btk akademide böyle bir şey gösteriliyorsa yasaldır diye düşünüyorum ama yine de emin olamadım

Takıl sen kafana göre, milyon kazanmadığın sürece gelip kimse seninle uğraşmaz.

Crawl yap, yıllardır yaparım, 2000 li yıllarda eticaret platforumu yönetirken rakiplerimin fiyat ortalamasını çıkarıyorudum. htmlagilitypack bu işlerde en babası.

Uzunca bir süre google ip'lerini kullandım, headerlarıda google bot headerları yaptım, sıkıntı çıkmadı sadece bir site hariç.

Bir projemde site kullancılarının aynı ilanı elle eklemesinden se (varsa) sahibinden.com üzerinden sadee ilan numarasını girerek kendi siteme aynı ilanı eklemesini sağladım.

sahibinden.com ne yaparsam yapayım en fazla 3-4 gün sonra yöntemimi çözüp önlem alıyor. Bir şekilde robotumun varlığnı anlıyor adamlar. Zamanımı bu iş için çok harcamak istemiyorum, insanlar alıştı kendileri el ile ekliyorlar ilanlarını ama çözüm bilen varsa PM atsın çünkü bunu yapan var.