お知らせ connpassではさらなる価値のあるデータを提供するため、2024年5月23日(木)を以ちましてイベントサーチAPIの無料での提供の廃止を決定いたしました。
2024年5月23日(木)以降より開始予定の「connpass 有料API」の料金プランにつきましてはこちらをご覧ください。
なお有料の対象となるのはAPIのみであり、connpassのサービスにつきましては今後も無料でご利用いただけます。

このエントリーをはてなブックマークに追加

9月

3

【クローラーに興味のある学生注目!】Rubyを使ってwebからデータを持ってくるプログラムを書こう

【クローラーに興味のある学生注目!】Rubyを使ってwebからデータを持ってくるプログラムを書こう
ハッシュタグ :#Ruby
募集内容

TRUNK

無料

先着順
0/5

開催日時
2017/09/03(日) 18:00 ~ 21:00
募集期間

2017/08/14(月) 22:17 〜
2017/09/03(日) 21:00まで

会場

TRUNK株式会社

東京都渋谷区神南1-9-4 NCビル3階

マップで見る

イベントの説明

<このイベントのゴール>

Rubyでクローラーを作れるようになり、大量の情報をネットから引き出せる様になる。

<なぜこのイベントに参加するべきか>

初心者歓迎!!

今回のトレーニングでは、Rubyに付き物のRailsは使用しません。
なので、シンプルにRubyという言語に注力できます!
Rubyを始めたばかりの方も大歓迎です!

クローラーとは

web上のテキストを定期的に収集し、自動的にデータベース化するプログラム。

何ができるの?

web上で人間が見ている情報はだいたい取得できます。
そして、それらをwebサービスや、キュレーションメディア、統計に活かすことができます。

例えば、 ヒカカク!(https://hikakaku.com/) というサイトは、買取業者のwebサイトからクローラーが情報を集めて、それをユーザーに提供しています。

その他にも、営業リストの作成や、SNSデータの分析など様々なことに応用可能です!

<概要>

スケジュール

1 クローラーとは

2 必要なgemの紹介

3 Capybaraでアクセス!

4 Nokogiriで解析!

5 CSVに落とし込む!

Rubyを何百倍も使いやすくするgemの数々。

CapybaraやNokogiriなどのgemを使うと、Rubyの新たな一面が見えてきます。

Capybaraを使えば、自分でブラウザを開かなくても模擬的にブラウジングができます。


そうして取得したデータをNokogiriで解析していきます。

最終的には

csvファイルに落とし込みます。
せっかく取得したデータも、扱いづらかったら嫌ですよね?


今回のトレーニングでは、取得したデータを見やすい表形式のcsvに整形して出力します。

<登壇者情報>

杉田賢人 (立教大学(TRUNKER))

TRUNKエンジニアインターン生


フロントエンドからサーバーサイドまで担当

独学で学んできたので、初心者に教えるのが得意です!

好きなことは、
仮想環境構築
クローラー開発
Chrome Extension開発

趣味はロードバイクで、時間があればペダルを回す

トレーナーの作ったスクレイピングプログラム

立教クローラー(https://github.com/SugiKent/rikkyo_crawler/)

<主催企業について>

TRUNK株式会社

世界中の若者と企業の努力をカタチにし、生まれた環境等に関係なく努力が報われる世界を創ります。 ### Trunkとは 世界中の若者と企業の努力をカタチにするサービスです。 やる気があり、学ぼうと努力する若者には無料で職業訓練の環境を提供し、企業の経営理念達成にむけて努力する企業には努力する学生と出会える環境を提供しております。

<対象>

  • 対象は学生です(無料でご参加いただけます)
  • Rubyを書いたことがある人

  • Railsでしか使ってなくて、Ruby単体のプログラムを書いてみたい人

  • クローラーに興味がある人

<詳細>

  • 服装:私服で構いません

  • 以下のURLから参加申し込みを行ってください。

http://trunk.fm/trainings/965

========

何かご質問のある方は以下のメールアドレスまでご連絡ください。

support@trunk.fm

資料 資料をもっと見る/編集する

資料が投稿されると、最新の3件が表示されます。

フィード

TRUNK

TRUNK さんが 【クローラーに興味のある学生注目!】Rubyを使ってwebからデータを持ってくるプログラムを書こう を公開しました。

2017/08/14 22:17

【クローラーに興味のある学生注目!】Rubyを使ってwebからデータを持ってくるプログラムを書こう を公開しました!

グループ

TRUNK

イベント数 155回

メンバー数 95人

終了

2017/09/03(日)

18:00
21:00

開催日時が重複しているイベントに申し込んでいる場合、このイベントには申し込むことができません

募集期間
2017/08/14(月) 22:17 〜
2017/09/03(日) 21:00

会場

TRUNK株式会社

東京都渋谷区神南1-9-4 NCビル3階

管理者

参加者(0人)

まだ参加者はいません。

参加者一覧(0人)