PythonとSelenium WebDriverでWebElementのHTMLソースを取得する方法

Selenium WebDriverを使えば、ページ上の任意のWebElement（Web要素）のHTMLソースを簡単に取得できます。最も基本的な方法は、要素が持つinnerHTML属性を取得することです。

innerHTMLは、開始タグと終了タグの間に存在する内容（内部のHTMLマークアップを含む）に相当する属性です。取得にはget_attributeメソッドを使用し、引数として「innerHTML」を渡します。

構文

s = element.get_attribute('innerHTML')

もう一つの方法として、JavaScript Executorを利用してHTMLソースを取得することもできます。この場合、execute_scriptメソッドを使い、第一引数に「arguments[0].innerHTML」、第二引数にHTMLソースを取得したい対象のWebElementを渡します。

構文

s = driver.find_element_by_id("txt-search")
driver.execute_script("return arguments[0].innerHTML;", s)

具体例

例えば、次のようなHTMLコードを持つ要素を考えてみます。この要素のinnerHTMLはYou are browsing the best resource for <b>Online Education</b>となります。

get_attributeメソッドを使った実装例

from selenium import webdriver

driver = webdriver.Chrome(executable_path="C:\\chromedriver.exe")
# 暗黙的な待機を設定
driver.implicitly_wait(0.5)
driver.get("https://www.tutorialspoint.com/index.htm")
# 要素を特定し、get_attributeでinnerHTMLを取得
l = driver.find_element_by_css_selector("h4")
print("HTML code of element: " + l.get_attribute('innerHTML'))

JavaScript Executorを使った実装例

from selenium import webdriver

driver = webdriver.Chrome(executable_path="C:\\chromedriver.exe")
# 暗黙的な待機を設定
driver.implicitly_wait(0.5)
driver.get("https://www.tutorialspoint.com/index.htm")
# 要素を特定し、execute_scriptでinnerHTMLを取得
l = driver.find_element_by_css_selector("h4")
h = driver.execute_script("return arguments[0].innerHTML;", l)
print("HTML code of element: " + h)

なお、Selenium 4以降ではfind_element_by_css_selector()などの個別の要素検索メソッドは非推奨となっています。最新のSeleniumでは、from selenium.webdriver.common.by import Byをインポートしたうえで、driver.find_element(By.CSS_SELECTOR, "h4")のように記述することが推奨されます。

実行結果