春天到了，又是交配、咳咳找工作的季节，各种招聘网站也开始活跃起来，为了服务身边的程序员朋友，于是用scrapy写了一个简单的招聘网站的爬取程序，用来自动获取更新招聘信息。

scrapy使用熟练了，用起来还是挺简单，利索的创建项目，编写spider文件，大体框架搭好，打开拉勾（https://www.lagou.com/zhaopin/python/），然后分析网页结构，使用 chrome浏览器的xpath插件获取标签数据，都没有问题。

按照自己的习惯，虽然在浏览器上获取数据没有问题，自己还是会用scrapy shell 再测试一次，确认没有问题才会往下编码。

然后问题就来了，使用xpath在浏览器中获取数据没有问题，在scrapy shell中运行response.body能获取整个页面的html代码

但是使用response.xpath("//div[@class='s_position_list']/ul/li/@data-positionid")在 shell 中运行的时候，获取的却为空

然后自己又试了两次，还是不行，于是开始google相关文档和问题