スクレイピング案件受託コース ～クラウドソーシング案件をやってみよう～

この学習ルートでできるようになること

この学習ルートでは、実際にWebデータの自動収集案件を行い、クラウドソーシングで1-5万円ほどの案件がこなせるような技術を身に付けていきます。

STEP1 案件の概要を理解しよう

実際に、よくあるデータ収集案件の概要を学びます。

今回の案件イメージは、こちらです。

【急募・経験者歓迎】大手ポータルサイトのデータクローリング業務
固定報酬制：25,000円

仕事の詳細
単発のデータリストとして、大手ポータルサイト（メディア系）のデータクローリングを実行して頂ける方を募集しております。
以下、詳細を記載いたしますので、ご確認ください。

【依頼詳細】
大手ポータルサイト（メディア系）のデータクローリング業務

【欲しいデータ】
こちらのアフィリエイト検索ナビから、データを収集します。
ここから
・案件名
・成果報酬
・取り扱いASP
を取得してください。
毎日更新されますので、日時でCSVをダウンロードできる形がよいです。

実際にクラウドソーシングサイトにある案件に、かなり似せたものを学習します。

STEP2: Python 基礎（無料）

スクレイピングやAPIを操作するために、Pythonの基礎を学びましょう。

ProgateのPythonⅠ〜Ⅲまで学習します。

STEP3: Pythonの環境構築（無料）

STEP4: HTML・CSS基礎（無料）

スクレイピングでは、HTML, CSSを読み解いていく必要があるため、HTML・CSSの基礎を学びます。

Webアプリの見た目を学ぶ言語となります。こちらもProgateを参考に進めてみてください。

STEP5: スクレイピング基礎（無料）

基本的なWebスクレイピングを学びます。

STEP6 Web API基礎（無料）

Web APIで、データの収集、送信ができるようになります。

STEP7: UNIXコマンドを使えるようになろう（無料）

フォルダの作成や、ファイルの閲覧を、コマンドベースで扱えるUNIXコマンドを覚えます。

STEP8: AWS Cloud9での環境構築（無料）

今回のコースでは、自動ログインが必要になります。そのために、Seleniumを利用することで、自動ログインができるようにする必要があります。

Seleniumが利用できる、環境構築の方法を、AWS Cloud9を利用して実際にやってみましょう。

STEP9 スクレイピング実践（有料）

自動ログインから、データ収集してCSVエクスポートする方法を学びます。

STEP10 Web API 実践（有料）

自動収集したCSVを、Slackというチャットアプリにアップロードする方法を学びます。

STEP11 GithubとHerokuへのディプロイ（有料）

HerokuというPaaSソフト上で、ファイルの自動実行できる方法を学びます。

このチュートリアルでは、1980円の有料チュートリアルが3つ含まれます。セットで購入すると、定価5940円のセットが、4980円で購入することができるのでお得です。有料チュートリアルには、すべて動画による解説も含まれます。