web_retile_01

通过几天的学习基本了解了Python的函数结构,为了能加快速度决定直接跳过基本从爬虫方面入手,然后再着手分析数据。

检索了关于Python爬虫的资料,最终决定从requests库与bs4库的配合学习。

至于后期对于爬虫的延伸有更多的想法比如搞个分布式(一台master+N台slave一起工作),多线程爬虫等等什么的后期考虑。

对此我便觉得采取以下步骤:

环境配置安装相印库

原先的Python27默认不带pip。出于不想在win下选择琐碎的操作的目的我选择的是Win+Python36环境下。

默认自带pip库,于是经过简单的path环境变量后直接可以在win command下打出Linux下一句shell就解决的事情:

  • pip install beautifulsoup4
  •  
  • pip install requests
  •  
  • pip install htmllib5
  • 这是最简单的方式安装对应库,或者你也可以选择下载库文件解压后直接cd安装目录:
  • python setup.py instll
  • 解决三个必要的库后让我们来试试看requests库能否工作:
    import requests
    r =requests.get("http://www.11ri.net")
    r.text
    返回正常

    分享到: Twitter 豆瓣 更多

    已有7条评论

    1. 刘明野的博客 2016-10-03 19:50 回复
      雁过留声,人过留名。
    2. 故事会 2016-08-22 16:07 回复
      这个语言还不会呢、、
    3. 老师助手 2016-08-18 14:08 回复
      老师助手学习中
    4. 圣兽麒麟 2016-08-08 10:12 回复
      隐藏着黑暗力量的钥匙啊!在我面前显示出你真正的力量,与你定下约定的爱华斯命令你,封印解除!
    5. 圣兽麒麟 2016-08-08 10:12 回复
      扑哧。。散落吧 千本樱
    6. 月饼团购 2016-08-06 19:45 回复
      学习了,谢谢分享
    7. 御坂26867号 2016-08-01 10:37 回复
      好东西,必须收藏.

    添加新评论

    | 7个评论