CentOS7で scrapy 環境を構築するメモ

AWS の EC2(CentOS7)で scrapy 環境を構築したら、思いの外こけたのでメモ。Mac だとpip install scrapyで一発だったんですが・・・

環境

  • Red Hat Enterprise Linux Server release 7.3 (Maipo)
  • Python 2.7.5
  • Scrapy 1.3.3

要約

下記コマンドでいけるかと

エラーの経緯

とりあえず、pip でインストールを試みます。

まずは gcc がないと言って怒られました。デフォルトで入っていないんですね。yum でインストールしました。

インストール後、再度 pip で scrapy をインストールしようとしたところ、下記エラーが出ました。

Python.h が無いと言われました。調べてみたところ、python-devel というパッケージを入れれば良いようだったので、yum で追加しました。

インストール後、再度 pip で scrapy をインストール、エラー無く終了。
しかし、scrapy version でバージョンを確認しようとしたところ、下記エラーが出ました。

OpenSSL 関連のエラーっぽいですね。検索したところ、scrapy の issue がひっかかりました。
このサイトによると、解決策が幾つかあるみたいでしたが、私は Twisted をダウングレードすることで解決できました。

というわけで、上記要約の手順でいけるかと思います。何か抜けてたり不必要な手順があればコメントください。


最後まで読んでいただきありがとうございます。 このブログを「いいな」と感じていただけましたら、Twiter にてフォローいただけるとうれしいです。ブログ更新情報などもお届けします。



この記事をシェアする




りゅーた
フリーランスのエンジニアしてます。Android、iOS アプリの開発、対向サーバの開発、C/C++のライブラリ開発が現在のメイン。趣味はテニス・ゲーム・自転車。2児の父

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

CAPTCHA