JAVA HTML PARSİNG YARDIM LÜTFEN

quote:

Orijinalden alıntı: theVerge

Kullanmanıza izin veriliyorsa open source java html parserlar ile text datasını exclude etmen gerek öncesinde. Onun içerisinde arama yapabilirsin daha sonrasında. Eğer izin verilmiyor ise html taglerini anlayan ve bu tagleri trim edebilen fonksiyonlar kendin yazmalısın.

Şurası sana anafikri verecektir :https://stackoverflow.com/questions/3507353/how-to-parse-only-text-from-html

quote:

Orijinalden alıntı: theVerge

jsoup kullanıyorsunuz madem doc dan faydalanabilirdiniz..

yineden bilgi olarak vereyim size..

html sayfasını bir string'e okuyun..

gerisini jsoup hallediyor..
https://jsoup.org/apidocs/org/jsoup/package-summary.html
https://jsoup.org/apidocs/org/jsoup/Jsoup.html
https://jsoup.org/apidocs/org/jsoup/nodes/Document.html

String html = "...";
Document doc = Jsoup.parse(html);
System.out.println(doc.text());

veya sadece body'i istiyorsanız

System.out.println(doc.body().text());

sizin case için doc.text() içeriğinde istediğiniz "..." içeriği kolayca aratabilirsiniz..

quote:

package com.rvx.BasitParser;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.net.*;
import java.util.Arrays;
import java.io.*;

public class WikiScraper {
static String[] names = {"style", "script", "head", "title", "meta", "[document]"};

public static void main(String[] args){
scrapeTopic("http://motherfuckingwebsite.com/");
}

public static void scrapeTopic(String url){

String html = getUrl(url);
Document doc = Jsoup.parse(html);
Elements elts = doc.getAllElements();
for (Element elt : elts)
if (gorunurMu(elt))
System.out.println(elt.text());
}

public static boolean gorunurMu (Element elt) {

try {
if (Arrays.asList(names).contains(elt.parent().tagName().toString()))
return false;
return true;} catch(Exception e) {
System.out.println("Sorun!!!");
return false;
}
}

public static String getUrl(String url){

URL urlObj = null;
try{urlObj = new URL(url);}catch(MalformedURLException e){
System.out.println("The url was malformed!");
return "";
}
URLConnection urlCon = null;
BufferedReader in = null;
String outputText = "";
try{
urlCon = urlObj.openConnection();
in = new BufferedReader(new InputStreamReader(urlCon.getInputStream()));
String line = "";
while((line = in.readLine()) != null){outputText += line;}
in.close();
}catch(IOException e){
System.out.println("There was an error connecting to the URL");
return "";
}
return outputText;
}
}

quote:

Orijinalden alıntı: revivo72

Doğrudur fakat o kodu Jsoup ile bahsettiğin olay nasıl yapılabilir diye demo amaçlı yazdım ve bahsettiğin sitede denemedim; deneme amaçlı (ismi de oldukça faul olan :|) bir sitede deneyip gönderdim, görüntülenmeyen etiketler listesini de {"style", "script", "head", "title", "meta", "[document]"} Stackoverflow'daki bir gönderiden aldım ve bahsettiğin sitedeki 'kapalı menü' ler için ekleme yapmadan öylesine yazdım, o sitedeki 'kapalı menü' leri inceleyerek kodu düzenleyerek istediğin kıvama getirebilirsin; her halukarda bu kod sadece demo amaçlı. Fakat aynı işlemi kendim yapmak isteseydim CasperJS veya Selenium 'u kullanırdım; birisi para vererek kısa sürede yapmamı isteseydi, direkt Selenium'u kullanırdım cunku CasperJS 'i hiç kullanmadım ancak Selenium'u bayağı kullandım :|