2. 核心流程

核心流程

• 2.1. Scrapy 源码剖析 架构概览
  • 2.1.1. 简介
  • 2.1.2. 快速入门
  • 2.1.3. 架构
  • 2.1.4. 核心模块
  • 2.1.5. 运行步骤
  • 2.1.6. 详细架构图如下
• 2.2. 抓取入口
  • 2.2.1. 创建样例项目
  • 2.2.2. scrapy命令从何而来
  • 2.2.3. 运行入口
  • 2.2.4. get_project_settings
    • 2.2.4.1. 我们看下init_env方法做了什么？
    • 2.2.4.2. Settings初始化
    • 2.2.4.3. setting的优先级说明
  • 2.2.5. inside_project
  • 2.2.6. 创建了CrawlerProcess对象
  • 2.2.7. cmd.run
  • 2.2.8. crawler_process.crawl
    • 2.2.8.1. _create_spider
    • 2.2.8.2. _apply_settings
    • 2.2.8.3. _create_engine
    • 2.2.8.4. engine.open_spider
  • 2.2.9. crawler_process.start