検索結果を完全自動取得？Pythonでキーワードを指定して、検索結果をスクレイピングしてみよう！

https://code.dividable.net/?s=Python

s = Python

S=[任意の検索キーワード]

#TODO ライブラリをインストールする
import requests
import pandas as pd
from bs4 import BeautifulSoup

キーワードを設定して検索する

最終的には、複数キーワードで自動取得しますが、理解しやすいためにまずは一つのキーワードで試していきたいと思います。

TODO

1. 検索キーワードを指定してください。
2. 検索キーワードで検索してみてください
3. 検索結果を、BeautifulSoupにパースして、soup.prettifyメソッドでHTMLを可視化してみてください

答え

import requests
import pandas as pd
from bs4 import BeautifulSoup

#TODO 検索キーワードで検索してみてください
keyword = "Python"

#TODO キーワードを検索してみてください
res = requests.get("https://code.dividable.net/?s=" + keyword).text

#TODO BeautifulSoupにパースして、soup.prettifyメソッドでHTMLを可視化してみてください
soup = BeautifulSoup(res, 'html.parser')
soup.prettify

<div class="container">
<nav class="navbar navbar-expand-md">
<a href="/" id="#brand__name">
<img height="24px" src="https://dividable.net/wp/wp-content/uploads/2020/04/dainote_logo.png"/>
</a>
<button class="navbar-toggler" data-target="#navbarCollapse" data-toggle="collapse" type="button">
<span class="navbar-toggler-icon"></span>
</button>
<nav class="collapse navbar-collapse " id="navbarCollapse">
<div class="navbar-nav ml-auto">
<a class="nav-item nav-link active" href="/courses">学習ルート一覧</a>
<a class="nav-item nav-link active" href="/tutorials">チュートリアル一覧</a>
</div>
</nav>
<form action="https://code.dividable.net/" class="search-form form-inline my-2 my-lg-0" method="get" role="search">
<label>
<input class="search-field form-control mr-sm-2" name="s" placeholder="キーワードを入力..." title="検索:" type="search" value="Python"/>
</label>
<input class="search-submit" type="submit" value="検索"/>
</form>
</nav>
</div>
</header>
<main id="index" itemprop="mainContentOfPage" itemscope="itemscope" itemtype="http://schema.org/Blog">
<div class="container main">
<div class="container">
<div class="row">
<h2>「Python」の検索結果: <span id="search__count">16</span>件</h2>
<div class="wrap">
<!-- カテゴリページの場合-->

<div class="row">
<h2>「Python」の検索結果: <span id="search__count">16</span>件</h2>
<div class="wrap">

import requests
import pandas as pd
from bs4 import BeautifulSoup
keyword = "Python"
res = requests.get("https://code.dividable.net/?s=" + keyword).text
soup = BeautifulSoup(res, 'html.parser')

#TODO 取得した件数部分のCSS Selectorを指定してください
tag = "#search__count"
count = soup.select(tag)[0].string
print (count)

16

import requests
import pandas as pd
from bs4 import BeautifulSoup
keyword = "Python"
res = requests.get("https://code.dividable.net/?s=" + keyword).text
soup = BeautifulSoup(res, 'html.parser')
tag = "#search__count"
count = soup.select(tag)[0].string

#TODO pandasで、列名がkeyword, countであるデータフレームを作成してください
columns = ["keyword", "count"]
df = pd.DataFrame(columns=columns)

#TODO pandasで、取得したkeywordとcountを代入するSeriesを作成してください
se = pd.Series([keyword, count], columns)

#TODO pandasで、DataFrameにSeriesを追加してください
df = df.append(se, ignore_index=True)
df.head()

出力結果：

上記のように出力されていたら成功です。

複数キーワードを指定して、取得する

さて、次はPythonだけではなくて、複数のキーワードを指定して検索してみましょう。

TODO

1. Python, スクレイピング, API というキーワードで検索するために、リストを定義してください
2. 今までのコードを、For文を利用して、キーワードごとに検索できるように書き換えてください
3. データフレームの先頭行を取得してください

import requests
import pandas as pd
from bs4 import BeautifulSoup
# Python, スクレイピング, API というキーワードで検索するために、リストを定義してください
keywords = ["Python", "スクレイピング", "API"]
columns = ["keyword", "count"]
df = pd.DataFrame(columns=columns)

#今までのコードを、For文を利用して、キーワードごとに検索できるように書き換えてください
for keyword in keywords:
   res = requests.get("https://code.dividable.net/?s=" + keyword).text
   soup = BeautifulSoup(res, 'html.parser')
   tag = "#search__count"
   count = soup.select(tag)[0].string

   #TODO 列名にkeywordとcountが入ったデータフレームを用意する
   se = pd.Series([keyword, count], columns)
  df = df.append(se, ignore_index=True)

#TODO データフレームの先頭行を取得してください
df.head()

import requests
import pandas as pd
from bs4 import BeautifulSoup

keywords = ["Python", "スクレイピング", "API"]
columns = ["keyword", "count"]
df = pd.DataFrame(columns=columns)

for keyword in keywords:
   res = requests.get("https://code.dividable.net/?s=" + keyword).text
   soup = BeautifulSoup(res, 'html.parser')
   tag = "#search__count"
   count = soup.select(tag)[0].string

   #TODO 列名にkeywordとcountが入ったデータフレームを用意する
   se = pd.Series([keyword, count], columns)
  df = df.append(se, ignore_index=True)

df.head()

#TODO CSVに保存してみてください。
filename = "result.csv"
df.to_csv(filename) #encoding指定しないと、エラーが起こります。おまじないだともって入力します。
from google.colab import files
files.download(filename)