この学習ルートでできるようになること

この学習ルートでは、実際にWebデータの自動収集案件を行い、クラウドソーシングで1-5万円ほどの案件がこなせるような技術を身に付けていきます。

STEP1 案件の概要を理解しよう

スクレイピング案件①実際のスクレイピング案件をやってみよう | DAINOTE オリジナルアプリを作ろう
実際のクラウドソーシングサイトにある、スクレイピング案件をクリアするために必要な学習項目を学びます。

実際に、よくあるデータ収集案件の概要を学びます。

今回の案件イメージは、こちらです。

【急募・経験者歓迎】大手ポータルサイトのデータクローリング業務
固定報酬制:25,000円

仕事の詳細
単発のデータリストとして、大手ポータルサイト(メディア系)のデータクローリングを実行して頂ける方を募集しております。
以下、詳細を記載いたしますので、ご確認ください。

【依頼詳細】
大手ポータルサイト(メディア系)のデータクローリング業務

【欲しいデータ】
こちらのアフィリエイト検索ナビから、データを収集します。
ここから
・案件名
・成果報酬
・取り扱いASP
を取得してください。
毎日更新されますので、日時でCSVをダウンロードできる形がよいです。

実際にクラウドソーシングサイトにある案件に、かなり似せたものを学習します。

STEP2: Python 基礎(無料)

Python 基礎
Pythonの環境構築を行います。

スクレイピングやAPIを操作するために、Pythonの基礎を学びましょう。

ProgateのPythonⅠ〜Ⅲまで学習します。

STEP3: Pythonの環境構築(無料)

Progate | Python環境構築
プログラミングの基礎を、環境構築なしで学べる、日本最大級のプログラミング学習サイト。まず、基礎を学ぶならここでやってみましょう。

STEP4: HTML・CSS基礎(無料)

Progate | HTML & CSS
ProgateのWebサイト制作で必要なHTMLとCSSを学べるコースです。実際にコードを書きながら、デザインを学べるので非常におすすめのチュートリアルになります。

スクレイピングでは、HTML, CSSを読み解いていく必要があるため、HTML・CSSの基礎を学びます。

Webアプリの見た目を学ぶ言語となります。こちらもProgateを参考に進めてみてください。

STEP5: スクレイピング基礎(無料)

基本的なWebスクレイピングを学びます。

STEP6 Web API基礎(無料)

Web APIで、データの収集、送信ができるようになります。

STEP7: UNIXコマンドを使えるようになろう(無料)

Command Line
UNIXコマンドを覚えます。

フォルダの作成や、ファイルの閲覧を、コマンドベースで扱えるUNIXコマンドを覚えます。

STEP8: AWS Cloud9での環境構築(無料)

PythonでSeleniumの環境構築をしてみよう | DAINOTE オリジナルアプリを作ろう
Webスクレイピングライブラリ「Selenium」の環境構築を行います

今回のコースでは、自動ログインが必要になります。そのために、Seleniumを利用することで、自動ログインができるようにする必要があります。

Seleniumが利用できる、環境構築の方法を、AWS Cloud9を利用して実際にやってみましょう。

STEP9 スクレイピング実践(有料)

スクレイピング案件②Seleniumで自動ログインして、ページを全件取得してみよう | DAINOTE オリジナルアプリを作ろう
Seleniumを利用して、メディアサイトに自動ログインし、中のデータをすべて取得します

自動ログインから、データ収集してCSVエクスポートする方法を学びます。

STEP10 Web API 実践(有料)

スクレイピング案件③ファイルをアップロードしよう | DAINOTE オリジナルアプリを作ろう
スクレイピングしたデータを、ファイルに自動アップロードできるように、Slack APIを利用してファイルをアップロードする方法について学びます。

自動収集したCSVを、Slackというチャットアプリにアップロードする方法を学びます。

STEP11 GithubとHerokuへのディプロイ(有料)

スクレイピング案件④Heroku Schedulerで定期実行してみよう | DAINOTE オリジナルアプリを作ろう
Heroku Schedulerにファイルをアップロードし、定期実行ができるようにします。

HerokuというPaaSソフト上で、ファイルの自動実行できる方法を学びます。

このチュートリアルでは、1980円の有料チュートリアルが3つ含まれます。セットで購入すると、定価5940円のセットが、4980円で購入することができるのでお得です。有料チュートリアルには、すべて動画による解説も含まれます。