web_retile_01

通过几天的学习基本了解了Python的函数结构,为了能加快速度决定直接跳过基本从爬虫方面入手,然后再着手分析数据。

检索了关于Python爬虫的资料,最终决定从requests库与bs4库的配合学习。

至于后期对于爬虫的延伸有更多的想法比如搞个分布式(一台master+N台slave一起工作),多线程爬虫等等什么的后期考虑。

对此我便觉得采取以下步骤:

环境配置安装相印库

原先的Python27默认不带pip。出于不想在win下选择琐碎的操作的目的我选择的是Win+Python36环境下。

默认自带pip库,于是经过简单的path环境变量后直接可以在win command下打出Linux下一句shell就解决的事情:

  • pip install beautifulsoup4
  •  
  • pip install requests
  •  
  • pip install htmllib5
  • 这是最简单的方式安装对应库,或者你也可以选择下载库文件解压后直接cd安装目录:
  • python setup.py instll
  • 解决三个必要的库后让我们来试试看requests库能否工作:
    import requests
    r =requests.get("http://www.11ri.net")
    r.text
    返回正常

    分享到: Twitter 豆瓣 更多

    已有11条评论

    1. 天津网站建设 2018-09-17 20:47 回复
      博主你不更新了吗
    2. 滴滴滴 2018-06-29 18:58 回复
      huhehot.cn散落吧
      hnuedu.cn散落吧
      dg-shunxin.cn学习了
      bjyb100.cn隐藏着黑暗力量
      japanese.ac.cn隐藏着黑暗力量
      cnanf.cn
    3. 滴滴滴 2018-06-11 18:13 回复
      博主讲的真详细,学习了aLedLighting.com
    4. 快快乐乐 2018-04-08 20:08 回复
      就考虑图兔兔
    5. 刘明野的博客 2016-10-03 19:50 回复
      雁过留声,人过留名。
    6. 故事会 2016-08-22 16:07 回复
      这个语言还不会呢、、
    7. 老师助手 2016-08-18 14:08 回复
      老师助手学习中
    8. 圣兽麒麟 2016-08-08 10:12 回复
      隐藏着黑暗力量的钥匙啊!在我面前显示出你真正的力量,与你定下约定的爱华斯命令你,封印解除!

    添加新评论

    | 11个评论