Şimdi Ara

Website veri çekme işlemi

Daha Fazla
Bu Konudaki Kullanıcılar: Daha Az
2 Misafir - 2 Masaüstü
5 sn
11
Cevap
0
Favori
2.544
Tıklama
Daha Fazla
İstatistik
  • Konu İstatistikleri Yükleniyor
0 oy
Öne Çıkar
Sayfa: 1
Giriş
Mesaj
  • Merhaba arkadaşlar

    Şimdi bir websitemiz var, birde anlaştığımız tedarikçilerimizin websiteleri var. Bunlarla anlaştık ancak xml veremiyiceklerini, xml ile de çalışmadıklarını söylediler. Alacağımız ürünlerde giyim ürünü ve tedarikçilerin sitelerinde mevcut bedenler ile satılıyor. ben buradaki verileri stok, fiyat ve beden bilgilerini bir excell formatına (oradan websiteme kendim aktarırım) ya da benim siteme nasıl çekebilirim. İlginiz için şimdiden teşekkürler.



  • Xml, json vb teknolojiler olmadan bunu yapabileceğini zannetmiyorum. Öyle olsa herkes her yerden veri çeker. iFrame zaten işini görmez. Ama belki benim bilmediğim yöntemler vardır. Daha fazla bilgisi olan arkadaşlar yardımcı olacaktır

    < Bu ileti mobil sürüm kullanılarak atıldı >
  • Öncelikle excel kayıtları saklamak için pek de doğru bir tercih değil. En kötü ihtimalle csv formatında saklamanı tavsiye ederim. Onun dışında takdir edersin ki hiçbir site birbirine denk değil, verileri almanın pek de standart bir yolu yok. Eğer programlamayla ilgili bilgin varsa Beautiful Soup isimli Python modülünü denemeni tavsiye ederim, eğer site düzenliyse hızlı sonuç alabilirsin.

    < Bu ileti tablet sürüm kullanılarak atıldı >
  • Python olabilir.

    Javascript varsa, selenium/mechanize pakediyle
    Yok duz HTML ise, baeutifulsoup4 pakediyle

    10-15 satirda eksisozluk'teki python basligini parse ettirdim soyle bir sey oluyor. Yaziyi, resmi neyi isterseniz cekersiniz bunun kisitlamasi yok.

    Website veri çekme işlemi



    < Bu mesaj bu kişi tarafından değiştirildi KaramazovX -- 9 Temmuz 2017; 3:40:16 >
  • Web de gordugun herhangi bir datayi alabilirsin.

    Ama xml, json gibi organize olmus sekilde sunmuyorlarsa html parse yapman gerek.

    < Bu ileti mobil sürüm kullanılarak atıldı >
  • Kodu denedim, 2 degisiklikten sonra çalıştı: class yerine class_ kullandım cunku class'ı tanımadı, sonuçları print fonksiyonuna göndermeden önce encode('utf-8') yaptım cunku print ascii olmayan karakterleri tanıyamadı. Diğer türkçe isimlendirmeler keyfi. Bu 2 değişiklik Python 2.7.1 kullanmamdan kaynaklı olabilir cunku Python 3'te Unicode desteği daha farklı.

    Website veri çekme işlemi


    6XX0zN.png@hizliresim



    < Bu mesaj bu kişi tarafından değiştirildi Tuğkan-0153 -- 9 Temmuz 2017; 14:58:46 >
    < Bu ileti mini sürüm kullanılarak atıldı >
  • quote:

    Orijinalden alıntı: revivo72

    Kodu denedim, 2 degisiklikten sonra çalıştı: class yerine class_ kullandım cunku class'ı tanımadı, sonuçları print fonksiyonuna göndermeden önce encode('utf-8') yaptım cunku print ascii olmayan karakterleri tanıyamadı. Diğer türkçe isimlendirmeler keyfi. Bu 2 değişiklik Python 2.7.1 kullanmamdan kaynaklı olabilir cunku Python 3'te Unicode desteği daha farklı.

    Website veri çekme işlemi


    6XX0zN.png@hizliresim

    Ekşi'de index 1'den başlardı eskiden 0 görünce dikkatimi çekti :)

    < Bu ileti tablet sürüm kullanılarak atıldı >




  • Yapay Zeka’dan İlgili Konular
    Daha Fazla Göster
  • Merhaba Arkadaşlar, yardım ve düzeltmeleriniz için teşekkürler. Araştırmaya devam ederken şöyle bir yazı ile karşılaştım, inceledim yapmaya da çalıştım, vakit ayırıp kontrol edebilir misiniz lütfen. Bir de yazı da bahsedilen bazı şeyleri yapamadığımdan dolayı 1-2 sorum var bu yüzden ilerleyemedim

    1- Worksheet açıp bu kodları yazdıktan sonra kaydediyor muyuz? yoksa direk pencereyi kapatıyor muyuz?
    2- excell internet explorer nerededir acaba?

    https://www.cizgiakademi.com/excel-makro-vba-ile-web-den-veri-getirme/#comment-1276




  • quote:

    Orijinalden alıntı: cbbleonur

    Merhaba Arkadaşlar, yardım ve düzeltmeleriniz için teşekkürler. Araştırmaya devam ederken şöyle bir yazı ile karşılaştım, inceledim yapmaya da çalıştım, vakit ayırıp kontrol edebilir misiniz lütfen. Bir de yazı da bahsedilen bazı şeyleri yapamadığımdan dolayı 1-2 sorum var bu yüzden ilerleyemedim

    1- Worksheet açıp bu kodları yazdıktan sonra kaydediyor muyuz? yoksa direk pencereyi kapatıyor muyuz?
    2- excell internet explorer nerededir acaba?

    https://www.cizgiakademi.com/excel-makro-vba-ile-web-den-veri-getirme/#comment-1276

    Excel eskidi diyeceğim fakat makale aralık 2016 'da yazılmış ve haziran 2017 'de bile baya yorum gönderilmiş, o yüzden diyemiyorum : )

    1- Worksheet açtıktan sonra kodları makro olarak kaydetmek gerekli olsa gerek.

    2- Excell Internet Explorer diye birşey yok, sadece VBA kodları içinde Set IE = CreateObject("InternetExplorer.Application") komutu ile bir Internet Explorer nesnesi oluşturuluyor, yani IE'nin işlevlerini kod içinden kontrol ediyorsun.



    @yoktur

    Yo, Ekşi'nin endeksinden cok Python liste (dizi) endeksi oradaki.

    < Bu ileti mini sürüm kullanılarak atıldı >




  • Versiyon farkından dolayı oluyor evet. Arada nereden baksanız 5-6 yıl var. Normalde xpath kullanıyorum da hızlı olsun diye böyle yaptım. class'ı tanimama sebebi keyword olan classla çakışması. O py3'te de öyle.



    Python2'nin unicode desteği tek kelimeyle kabus. Uğraştığınıza değmez hocam 3 yükleyin :D

    < Bu ileti mobil sürüm kullanılarak atıldı >
  • Yo, Python 3 terfisine daha var. Unicode ve UTF-8 olayına alışığım, Python 2 sonuçta herşeyi çalıştırıyor. Bir de web scraping işlemleri için aslında Java'yı kullanıyorum , Selenium ilk başta Java ile geliştirildi, Mechanize da Perl ile.

    < Bu ileti mini sürüm kullanılarak atıldı >
  • 
Sayfa: 1
- x
Bildirim
mesajınız kopyalandı (ctrl+v) yapıştırmak istediğiniz yere yapıştırabilirsiniz.