Indeedの100位以内での自社求人の占有率をグラフ化するWebアプリ

この記事のURLとタイトルをコピー

Indeedという求人情報のアグリゲーションサイトがある。ここはSEOで相当強いサイトでかつ、使い勝手がよくユーザー数を伸ばしています。当初は無断に求人メディアを転載しているような立ち位置（見方による）だったのですが、今は完全にメディアと立場が逆転しつつあります。

応募者の多くがIndeed経由という形になりつつあり、さらにIndeed経由の応募者を獲得しようとメディアはIndeedの広告枠を日夜ビットしている。そんな中で、Indeedの中でどれだけ上位表示されることができるか（GoogleでのSEOのようなもの）が、メディアの中で重要視されつつある。つまりメディアの先、広告主の中でもIndeedのプレゼンスが高まっているということです。

今回は、「キーワード」「勤務地」「メディア」を入力し、POSTするとIndeedの100位以内の表示にどの程度その「メディア」の求人が掲載されているのかを、リアルタイムにグラフ出力するWebアプリケーションを作りました。

できたもの

必要なもの

Flask
BeautifulSoup
requests

実装について

この中でもmain.pyにルーティングとBeautifulSoupでIndeedスクレイピングする役割を持たせてます。コードも少ない。

# -*- coding: utf-8 -*-

from flask import Flask, render_template, request
from bs4 import BeautifulSoup
import requests
import tqdm
import os

app = Flask(__name__)

@app.route('/')

def index():

    return render_template('index.html')


@app.route('/send', methods=['GET', 'POST'])

def send():

    if request.method == 'POST':

        query = request.form['query']
        location = request.form['location']
        media = request.form['media']

        counter = count_media(query, location, media)

        return render_template('result.html', message=counter, queryto=query, locationto=location, mediato=media)

    else:
        return render_template('index.html')


def indeed_ocupy_getter(query, location):

    source_list = []

    for i in tqdm.tqdm(range(0,150,10)):
        url = 'https://jp.indeed.com/%E6%B1%82%E4%BA%BA?q={}&l={}&start={}'.format(query, location, i)
        res = requests.get(url)

        soup = BeautifulSoup(res.content, 'html.parser')
        source_name = soup.findAll("span" , {"class": "result-link-source"})

        for i in source_name:
            source_list.append(i.text.replace(' ', ''))

    return source_list[0:100]


def count_media(query, location, media):

    x = indeed_ocupy_getter(query, location)

    counter = 0

    for p in x:
        if p == media:
            counter +=1

    return counter

# -*- coding: utf-8 -*-

from flask import Flask, render_template, request

from bs4 import BeautifulSoup

import requests

import tqdm

import os

app = Flask(__name__)

@app.route('/')

def index():

return render_template('index.html')

@app.route('/send', methods=['GET', 'POST'])

def send():

if request.method == 'POST':

query = request.form['query']

location = request.form['location']

media = request.form['media']

counter = count_media(query, location, media)

return render_template('result.html', message=counter, queryto=query, locationto=location, mediato=media)

else:

return render_template('index.html')

def indeed_ocupy_getter(query, location):

source_list = []

for i in tqdm.tqdm(range(0,150,10)):

url = 'https://jp.indeed.com/%E6%B1%82%E4%BA%BA?q={}&l={}&start={}'.format(query, location, i)

res = requests.get(url)

soup = BeautifulSoup(res.content, 'html.parser')

source_name = soup.findAll("span" , {"class": "result-link-source"})

for i in source_name:

source_list.append(i.text.replace(' ', ''))

return source_list[0:100]

def count_media(query, location, media):

x = indeed_ocupy_getter(query, location)

counter = 0

for p in x:

if p == media:

counter +=1

return counter

templateの中にレンダリングさせるhtmlを入れています。base.htmlとindex.htmlは紹介するまでもないです。result.htmlは下記の通りです。

{% extends "base.html" %}


{% block content %}
<div class="container">

<div style="margin-top:30px;"></div>
<table class="table">
  <thead class="thead-inverse">
    <tr>
      <th>キーワード</th>
      <th>勤務地</th>
      <th>メディア</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <td>{{ queryto }}</td>
      <td>{{ locationto }}</td>
      <td>{{ mediato }}</td>
    </tr>
  </tbody>
</table>

<div style="width:100%;">
   <div id="donut" style="width:100%;"></div>
</div>
<div style="margin-bottom:20px;"></div>
</div>

<script charset="utf-8" src="static/d3.v3.min.js"></script>
<script>
//表示スクリプト省略
</script>

{% endblock %}

{% extends "base.html" %}

{% block content %}

<tr>

<th>キーワード</th>

</tr>

</thead>

<tbody>

<tr>

<td>{{ queryto }}</td>

<td>{{ locationto }}</td>

<td>{{ mediato }}</td>

</tr>

</tbody>

</table>

</div>

</div>

//表示スクリプト省略

</script>

{% endblock %}

あまりよくないかもしれないですが、result.htmlの最後にグラフ描画用のd3を読み込んで、表示のJSを書き込んでいます。これでアプリ構成は完了。Herokuへのデプロイは下記のページを参考にさせていただきました。

Re:ゼロからFlaskで始めるHeroku生活〜環境構築とこんにちは世界〜

ZoomやChatworkでファイル共有している方へ

リモートワークが一般的になってきた今「誰が」「どこで」「何を」ファイル共有しているのかしっかりと把握する必要があります。easyDBを利用すればセキュリティ上で安全なファイル共有をクラウド上で行えるだけでなく、ファイルのバージョン管理等も簡単にできます。
ZoomやChatworkでファイル共有するならセキュリティ上で安全なeasyDB
>>>リモートワーク時代の安全なファイル共有「easyDB」はこちら