AndroidアプリでWebスクレイピングを実装する方法【Jsoupライブラリ活用】

この記事では、AndroidアプリケーションでWebスクレイピングを行う方法を、HTML解析ライブラリ「Jsoup」を使用した具体的なサンプルコードとともに段階的に解説します。Webページからテキストデータを取得して画面に表示するまでの一連の流れを学べます。

AndroidでのWebスクレイピングの仕組み

AndroidでWebページの内容を取得するには、ネットワーク通信をバックグラウンドで実行する必要があります。本記事のサンプルでは、非同期処理のためのAsyncTaskクラスと、HTMLの取得・解析を簡単に行えるJsoupライブラリを組み合わせて実装します。

実装手順

ステップ1：新規プロジェクトを作成する

Android Studioを開き、「File」→「New Project」を選択して、必要な項目をすべて入力し、新しいプロジェクトを作成します。

ステップ2：build.gradleに依存関係を追加する

「build.gradle（Module: app）」を開き、以下の依存関係（dependency）を追加します。

implementation 'org.jsoup:jsoup:1.11.2'

追加後は「Sync Now」をクリックして、Gradleの同期を実行してください。

ステップ3：レイアウトファイル（activity_main.xml）を編集する

res/layout/activity_main.xml に以下のコードを追加します。取得したテキストを表示するTextViewと、スクレイピングを実行するButtonを配置しています。

<?xml version="1.0" encoding="utf-8"?>
<RelativeLayout xmlns:android="https://schemas.android.com/apk/res/android"
    xmlns:tools="https://schemas.android.com/tools"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    tools:context=".MainActivity">
    <TextView
        android:id="@+id/textView"
        android:text=""
        android:layout_width="match_parent"
        android:layout_height="600dp"
        android:padding="4dp"
        android:layout_centerHorizontal="true" />
    <Button
        android:id="@+id/btnView"
        android:text="Scrap Text from web"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        android:layout_centerHorizontal="true"
        android:layout_marginBottom="25sp"
        android:layout_alignParentBottom="true"/>
</RelativeLayout>

ステップ4：MainActivity.javaにコードを記述する

src/MainActivity.java に以下のコードを追加します。ボタンがタップされるとAsyncTaskが起動し、doInBackground()内でJsoupを使って指定URLのHTMLを取得します。その後、onPostExecute()で取得したテキストをTextViewに反映させます。

import android.os.AsyncTask;
import android.support.v7.app.AppCompatActivity;
import android.os.Bundle;
import android.view.View;
import android.widget.Button;
import android.widget.TextView;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import java.io.IOException;
public class MainActivity extends AppCompatActivity {
    TextView textView;
    Button button;
    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);
        textView = findViewById(R.id.textView);
        button = findViewById(R.id.btnView);
        button.setOnClickListener(new View.OnClickListener() {
            @Override
            public void onClick(View v) {
                new doIT().execute();
            }
        });
    }
    public class doIT extends AsyncTask<Void,Void,Void> {
        String words;
        @Override
        protected Void doInBackground(Void... params) {
            try {
                Document document = Jsoup.connect("https://www.tutorialspoint.com/css_online_training/index.asp").get();
                words = document.text();
            } catch (IOException e) {
                e.printStackTrace();
            } return null;
        }
        @Override
        protected void onPostExecute(Void aVoid) {
            super.onPostExecute(aVoid);
            textView.setText(words);
        }
    }
}

ステップ5：AndroidManifest.xmlにインターネット権限を追加する

androidManifest.xml に以下のコードを追加します。Web上のデータにアクセスするため、INTERNETパーミッションの宣言は必須です。忘れると通信時にエラーが発生するので注意しましょう。

<?xml version="1.0" encoding="utf-8"?>
<manifest xmlns:android="https://schemas.android.com/apk/res/android"
    package="app.com.sample">
    <uses-permission android:name="android.permission.INTERNET"/>
    <application
        android:allowBackup="true"
        android:icon="@mipmap/ic_launcher"
        android:label="@string/app_name"
        android:roundIcon="@mipmap/ic_launcher_round"
        android:supportsRtl="true"
        android:theme="@style/AppTheme">
        <activity android:name=".MainActivity">
            <intent-filter>
                <action android:name="android.intent.action.MAIN" />
                <category android:name="android.intent.category.LAUNCHER" />
            </intent-filter>
        </activity>
    </application>
</manifest>

アプリを実行して動作を確認する

それでは、アプリケーションを実行してみましょう。実際のAndroid端末をパソコンに接続していることを前提としています。Android Studioからアプリを起動するには、プロジェクト内のいずれかのアクティビティファイルを開き、ツールバーの「Run」アイコンをクリックします。デバイス選択画面で自分のモバイル端末を選択すると、端末に以下のようなデフォルト画面が表示されます。

まとめ

本記事では、JsoupライブラリとAsyncTaskを組み合わせることで、Androidアプリ内でWebページのテキストを簡単に取得・表示できることを確認しました。なお、Android 11以降や新しいプロジェクトでは、AsyncTaskの代わりにKotlin CoroutinesやWorkManagerなど、より現代的な非同期処理の仕組みを利用することも検討するとよいでしょう。また、スクレイピングを行う際は対象サイトの利用規約を必ず確認してください。