python爬虫:爬取慕课网视频

Hello_T1 · 发表于 2016-3-12 21:03

慕课网有很多学习视频。前段时间安装了一个慕课网app,发现不用注册就可以在线看其中的视频,就有了爬取其中视频的想法，用来在电脑上学习。决定花两天时间用学了一段时间的python做一做，并给大家分享一下我使用的是pycharm进行开发,使用BeautifulSoup模块解析html,整个代码进行了比较详细的注释。
整个工程结构:

----entity

--------__init__.py

--------fileinfor.py用来描述视频文件信息

----filedeal

--------__init__.py

--------file_downloader.py用于视频文件的下载

----spider 爬虫的核心内容
--------__init__.py

--------html_downloader.py html下载器

--------html_parser.py html解析器

--------spiderman.py 爬虫核心逻辑

----test test文件夹主要是用来测试一些用例,不参与整个程序运行

----conf.py 一些全局变量

----index.py 程序启动入口

运行环境:
python 2.7.X
需要安装的支持模块:
BeautifulSoup (pip install或者下载源代码包setup.py),下载链接:https://pypi.python.org/pypi/beautifulsoup4/4.3.2

运行:在windows上直接双击start.bat,linux上没试

现在将程序运行起来,双击start.bat,输入课程号，选择视频品质:

等到显示100%时，会将视频下载到当前目录下

源代码在我的github上:https://github.com/qiyeboy/spider_smooc

大家搭建好python环境和安装上BeautifulSoup模块,双击start.bat就可以下载视频了

小星星168 · 发表于 2016-3-12 21:24

很牛逼的做法啊。。。

星钥 · 发表于 2016-3-12 21:46

谢谢楼主很牛逼的做法

丶八戒 · 发表于 2016-3-12 23:25

赞一个，

kangda666 · 发表于 2016-3-13 00:11

楼主学的很精啦

Kenn_Wu · 发表于 2016-3-13 04:50

谢谢楼主正需要

Hello_T1 · 发表于 2016-3-13 10:24

kangda666 发表于 2016-3-13 00:11
楼主学的很精啦

互相学习

Lester · 发表于 2016-3-13 10:33

刚需，很好，拿走了。

歪啵猪 · 发表于 2016-3-13 12:39

好厉害的样子是时候学习个语言了

vae3489 · 发表于 2016-3-14 18:28

楼主很6啊，支持一下

		自动登录	找回密码
密码			立即注册

[其他] python爬虫:爬取慕课网视频

评分