前面,写了一个关于从【知乎】上爬取视频的手动版本:
http://d-prototype.com/archives/13411

现在的这个是个自动版本。

代码已经发布在了我的GitHub上:
https://github.com/ameaningfulperson/zhihu_video_download_tool

欢迎大家Follow。

本文主要介绍一下脚本的使用。

环境:
1. MS Windows
2. PyCharm
3. Python 3.7

一、从GITHUB拿到我的代码后,用PyCharm打开

二、根据自己的需求,修改变量
变[……]

Read more

如题所示的错误发生在使用【selenium】模拟浏览器做网页抓取的时候。
具体如下:

代码:

通过报错信息大概可以判断是:没有正确配置chromedriver导致的错误。

解决:
先查看下本地的Chrome的版本:
打开Chrome浏览器,访问:【chrome://version/】

根据上面Python执行的错误提示,访问网站:【https://sites.google.com/a/chromium.org/chromedriver/home】

我的浏览器是:74的版[……]

Read more

在MS Windows环境下使用PyCharm安装Python的scrapy的时候,你可能会遇到如下报错:

错误:
1. 【error: Microsoft Visual C++ 14.0 is required.】
2. 【Get it with “Microsoft Visual C++ Build Tools”:http://landinghub.visualstudio.com/visual-cpp-build-tools】

如果你跟着报错信息的提示,去访问网站【http://landinghub.visualstudio.com/visual-cpp-build-to[……]

Read more

在日常浏览知乎的时候,我们可以看到很多问题的回答里面附带了高质量的视频短片。
但是,在网页上的视频短片只能在浏览网页的时候观看,如果断网了,或者在无网的环境下可能就无法观看了。
并且,有的短片做的挺好的,你会想要下载收藏。

因此,爬取知乎上的视频到本地,便成了一个【刚需】。

我会用两个文章描述如何实现这个刚需的方法与步骤详情,总的来说有两部分:
1. 手动篇 | 需要人工的一步步的从网页到最后抓取视频
2. 自动篇 | 我会发布自己编写的Python脚本,以及该脚本的使用方式与使用时的表现,并附上源码;基本上在自动篇阶段,你只需要给脚本你需要解析的目标网页的URL链接,以及[……]

Read more

今天偶然的机会,想了解下知乎的前端页面的详情,于是很意外的翻到了【前端彩蛋】:

后面又去其他的几个互联网公司的WEB上看了看。
发现,百度也有:

淘宝没有:

————————
彩蛋获取方法:
任意网页浏览器:
1. 搜狗
2. Chrome
3. QQ
4. 等等

【F12】开启开发者工具
在【Console】的标签页里面的提示(Banner)部分,你就可以看到彩蛋啦。

————————————
Done。[……]

Read more