Scrapy命令和备注

1.创建一个新项目(命令行)

• project是项目名

scrapy startproject 
    

2.调试项目(pycharm)

• 在pycharm中新建cmdline.py

from scrapy import cmdline# 可以加断点，右键debug运行if __name__ == '__main__':    # execute的参数类型为一个列表    cmdline.execute('scrapy crawl wenshu'.split())

• 加断点，debug运行即可

3.暂停和重启项目(命令行)

• spidername是爬虫的名字
• JOB_DIR是写在项目的settings.py中的
• 暂停爬虫

ctrl + c

• 继续爬虫

scrapy crawl 
    
      -s JOBDIR=