#scrapy自带的命令可以将yield item返回的item对象生成Json文件保存到本地进行存储。保存的时候,网页解析的数据是Unicode编码,需要转出成utf-8编码之后再进行存储
#命令:scrapy crawl novel -o 文件名.json -s FEED_EXPORT_ENCODING=utf-8
#命令:scrapy crawl novel -o novel.csv scrapy自带的存储为csv文件的api
#命令:scrapy crawl novel -o novel.xml scrapy自带的存储为xml文件的api
#命令:scrapy crawl novel -o novel.jsonlines 将存储的json文件中的每一个item都输出一行
#使用scrapy自带的scrapy crawl novel -o novel.csv 将数据存为csv文件时,发现文件有空行的解决方法:
#找到scrapy/exporters.py文件,找到CsvItemExporter类,在io.TextIOWrapper函数的参数里增加参数 newline=’’