スクレイピング案件受託コース ~クラウドソーシング案件をやってみよう~
この学習ルートでできるようになること
この学習ルートでは、実際にWebデータの自動収集案件を行い、クラウドソーシングで1-5万円ほどの案件がこなせるような技術を身に付けていきます。
STEP1 案件の概要を理解しよう
実際に、よくあるデータ収集案件の概要を学びます。
今回の案件イメージは、こちらです。
【急募・経験者歓迎】大手ポータルサイトのデータクローリング業務
固定報酬制:25,000円仕事の詳細
単発のデータリストとして、大手ポータルサイト(メディア系)のデータクローリングを実行して頂ける方を募集しております。
以下、詳細を記載いたしますので、ご確認ください。【依頼詳細】
大手ポータルサイト(メディア系)のデータクローリング業務【欲しいデータ】
こちらのアフィリエイト検索ナビから、データを収集します。
ここから
・案件名
・成果報酬
・取り扱いASP
を取得してください。
毎日更新されますので、日時でCSVをダウンロードできる形がよいです。
実際にクラウドソーシングサイトにある案件に、かなり似せたものを学習します。
STEP2: Python 基礎(無料)
スクレイピングやAPIを操作するために、Pythonの基礎を学びましょう。
ProgateのPythonⅠ〜Ⅲまで学習します。
STEP3: Pythonの環境構築(無料)
STEP4: HTML・CSS基礎(無料)
スクレイピングでは、HTML, CSSを読み解いていく必要があるため、HTML・CSSの基礎を学びます。
Webアプリの見た目を学ぶ言語となります。こちらもProgateを参考に進めてみてください。
STEP5: スクレイピング基礎(無料)
基本的なWebスクレイピングを学びます。
STEP6 Web API基礎(無料)
Web APIで、データの収集、送信ができるようになります。
STEP7: UNIXコマンドを使えるようになろう(無料)
フォルダの作成や、ファイルの閲覧を、コマンドベースで扱えるUNIXコマンドを覚えます。
STEP8: AWS Cloud9での環境構築(無料)
今回のコースでは、自動ログインが必要になります。そのために、Seleniumを利用することで、自動ログインができるようにする必要があります。
Seleniumが利用できる、環境構築の方法を、AWS Cloud9を利用して実際にやってみましょう。
STEP9 スクレイピング実践(有料)
自動ログインから、データ収集してCSVエクスポートする方法を学びます。
STEP10 Web API 実践(有料)
自動収集したCSVを、Slackというチャットアプリにアップロードする方法を学びます。
STEP11 GithubとHerokuへのディプロイ(有料)
HerokuというPaaSソフト上で、ファイルの自動実行できる方法を学びます。
このチュートリアルでは、1980円の有料チュートリアルが3つ含まれます。セットで購入すると、定価5940円のセットが、4980円で購入することができるのでお得です。有料チュートリアルには、すべて動画による解説も含まれます。