1. 背景与核心概念1.1 为什么 Python 适合零基础入门很多刚开始学编程的朋友都有过类似困扰网上资料太多、知识点太散、教程之间重复度高今天看一集变量、明天看一集循环学了一个月还是只能打印字符串。Python 之所以适合零基础入门核心原因是它的语法接近自然语言不需要花大量时间去记忆复杂符号。同样是输出一行内容在 Python 里只需要一行print()而在其他语言里可能需要先写类、再写主函数、还要处理括号和分号。这种低门槛特性让初学者能把精力集中在“编程思维”上而不是纠结语法细节。更重要的是Python 的应用路径非常清晰。从基础语法出发可以快速走入网络爬虫和数据分析这两个高频方向。爬虫能让你真实地“拿到数据”数据分析能让你“处理数据、发现规律”两者结合之后你实际上已经完成了一个完整的数据处理闭环。这也是为什么很多转行数据分析、后端开发、自动化方向的开发者都会把 Python 作为第一门主语言。1.2 Python 网络爬虫是什么网络爬虫简单来说就是编写程序自动请求网页并从返回的 HTML、JSON、XML 等数据中提取出我们需要的信息。它可以替代人工复制粘贴在合法合规的前提下高效地从公开网页中采集结构化数据。一个典型的爬虫流程可以拆成四步找到目标 URL分析页面结构。使用requests等库向目标地址发起 HTTP 请求。从响应内容中通过BeautifulSoup、re、XPath等方式解析数据。将解析结果保存到 CSV、Excel、数据库或 JSON 文件中。需要特别强调的是爬虫应当在遵守网站的robots.txt协议、不涉及个人隐私、不干扰网站正常运行的前提下进行学习与使用。本文所有示例仅用于技术研究与学习实战前请务必确认目标网站的使用条款。1.3 Python 数据分析是什么数据分析是拿到数据之后的工作。原始数据往往是杂乱无章的包含缺失值、重复值、异常值、格式不统一等问题。数据分析要做的事情就是通过清洗、转换、聚合、可视化等手段把数据变成能辅助决策的结论。在 Python 生态中数据分析最核心的三件套是NumPy提供高性能的多维数组对象和数学运算能力。Pandas提供 DataFrame 和 Series 两种数据结构擅长表格数据的读取、清洗、筛选、分组和聚合。Matplotlib / Seaborn负责把分析结果可视化帮助发现数据背后的变化趋势和分布规律。把爬虫和数据分析串联起来后你就能自己完成一条完整的数据流水线写爬虫采集数据用 Pandas 清洗整理用 Matplotlib 输出图表最后形成一份包含结论的分析报告。2. 环境准备与版本说明2.1 Python 安装与验证在学习之前第一步是正确安装 Python。你可以前往 Python 官方站点下载最新的稳定版本本文示例以 Python 3.10 及以上版本为例如果你使用的是更新的 3.x 版本操作思路完全一致。在 Windows 上安装时需要注意勾选Add Python to PATH这样后续才能在命令行中直接使用python命令。安装完成后打开终端或命令行窗口输入python --version如果看到类似Python 3.10.x的输出说明安装成功。如果提示找不到命令可以重启终端或者手动检查环境变量中是否已经添加 Python 安装路径。2.2 IDE 与编辑器选择对零基础同学来说我建议使用 PyCharm Community Edition 或 Visual Studio Code。PyCharm 的优点是对新手友好创建项目、运行脚本、安装依赖都有图形界面提示VS Code 则更轻量配合 Python 插件后体验也很好。安装 VS Code 后建议安装以下扩展Python微软官方。Pylance提供代码补全和类型提示。Python Debugger用于断点调试。不管用哪个编辑器只要能实现三个功能就够了编写代码、一键运行、看到报错信息。2.3 pip 包管理工具使用Python 的第三方库通过 pip 安装。常用命令如下# 安装某个库 pip install requests # 安装多个库 pip install requests beautifulsoup4 pandas matplotlib scrapy # 查看已安装的库 pip list # 导出当前环境依赖 pip freeze requirements.txt在某些系统或虚拟环境里如果同时存在 Python 2 和 Python 3可能需要使用pip3命令或者通过python -m pip的方式执行安装。2.4 创建虚拟环境强烈建议在正式学习时使用虚拟环境。虚拟环境可以把不同项目的依赖隔离避免出现“这个项目装的是 requests 2.x另一个项目需要 requests 3.x两者互相冲突”的问题。创建虚拟环境的命令如下# 创建虚拟环境 python -m venv pyenv # 激活虚拟环境 # Windows 系统 pyenv\Scripts\activate # macOS / Linux 系统 source pyenv/bin/activate激活之后命令行前面会出现(pyenv)的标记此时再执行pip install安装的包就会进入当前虚拟环境不会影响全局环境。3. Python 基础语法拆解3.1 变量、数据类型与输入输出Python 的变量不需要声明类型直接赋值即可。常见的数据类型包括整数、浮点数、字符串、布尔值、列表、元组、字典和集合。下面来看一个最基础的综合示例# 文件路径demo_basic.py name 小明 age 20 height 175.5 scores [90, 85, 88, 92, 79] info {name: name, age: age, city: 上海} print(姓名:, name) print(年龄:, age) print(身高:, height) print(成绩列表:, scores) print(字典信息:, info) # 使用 f-string 格式化输出 print(f总分: {sum(scores)}平均分: {sum(scores) / len(scores):.2f})运行结果姓名: 小明 年龄: 20 身高: 175.5 成绩列表: [90, 85, 88, 92, 79] 字典信息: {name: 小明, age: 20, city: 上海} 总分: 434平均分: 86.80这里需要注意列表是可变类型可以对元素进行修改而字符串是不可变类型不能直接通过下标修改字符。初学者最容易在这个地方踩坑。3.2 条件判断与循环条件判断使用if / elif / else循环主要使用for和while。Python 用缩进来控制代码块范围这一点和 C 语言、Java 的花括号完全不同务必保持统一缩进推荐使用 4 个空格。# 文件路径demo_flow.py score 85 if score 90: level 优秀 elif score 80: level 良好 elif score 60: level 及格 else: level 不及格 print(成绩等级:, level) # for 循环遍历列表 fruits [apple, banana, orange] for fruit in fruits: print(f当前水果: {fruit}) # while 循环计算 1 到 100 的和 total 0 i 1 while i 100: total i i 1 print(1 加到 100 的结果:, total)运行结果成绩等级: 良好 当前水果: apple 当前水果: banana 当前水果: orange 1 加到 100 的结果: 50503.3 函数与模块函数的作用是封装重复代码让程序结构更清晰。定义一个函数使用def关键字函数可以有参数、默认值和返回值。# 文件路径demo_func.py def cal_area(width, height10): 计算矩形面积height 有默认值 area width * height return area # 只传一个参数时height 使用默认值 10 print(cal_area(5)) # 传两个参数时height 显式覆盖默认值 print(cal_area(5, 20))运行结果50 100在实际项目中我们通常还会把不同功能的代码拆到不同文件里用import导入。比如在utils.py中定义函数然后在main.py中调用这样代码可读性和维护性会好很多。3.4 文件读写与异常处理文件读写是爬虫和数据分析的基础因为爬虫经常要把数据写入 CSV 文件数据分析经常要读取 Excel 或 CSV 文件。# 文件路径demo_file.py # 写入文件 with open(test.txt, w, encodingutf-8) as f: f.write(hello python\n) f.write(这是一行中文\n) # 读取文件 with open(test.txt, r, encodingutf-8) as f: content f.read() print(content)使用with open的好处是即使程序发生异常文件也能被正确关闭避免资源泄漏。异常处理方面最常用的结构是try / except / else / finally# 文件路径demo_except.py try: num int(input(请输入一个数字: )) result 100 / num except ValueError: print(输入的不是有效数字) except ZeroDivisionError: print(不能除以 0) else: print(f计算结果: {result}) finally: print(程序执行结束)这里需要说明的是except不能只写异常类而忽略逻辑判断。如果输入“abc”int()会抛出ValueError如果输入“0”除法会抛出ZeroDivisionError。分别捕获两种异常后程序的提示信息会更清晰排查问题也更容易。3.5 面向对象入门Python 是一门面向对象语言虽然基础脚本阶段不强制使用面向对象但后续学习 Scrapy 框架时会频繁遇到类、继承、方法重写等概念所以提前掌握会轻松很多。# 文件路径demo_class.py class Student: def __init__(self, name, score): self.name name self.score score def get_grade(self): if self.score 90: return 优秀 elif self.score 80: return 良好 else: return 及格 stu Student(小红, 95) print(f{stu.name} 的等级是 {stu.get_grade()})运行结果小红 的等级是 优秀在这个示例中__init__是构造方法用于初始化对象属性get_grade是实例方法可以通过对象直接调用。理解了这个结构后续看 Scrapy 的 Spider 类会轻松很多。4. Python 网络爬虫实战4.1 爬虫的基本流程与核心思想爬虫的核心是模拟浏览器向服务器发起请求然后从服务器返回的数据中提取信息。这里的“数据”不一定只有 HTML 页面也可能是 JSON 接口、图片文件、PDF 文档等。理解爬虫的关键在于两件事找到数据的真实来源。有些网页是服务端直接渲染 HTML有些则是通过 JavaScript 异步加载 JSON 数据后者需要先分析接口地址再直接请求接口。选择合适的解析方式。对于 HTML 页面可以用 BeautifulSoup 或 lxml对于 JSON 数据直接使用 Python 内置的json模块即可。为了让读者能够在本地环境中安全练习本文使用爬虫学习领域常用的公开测试站点作为示例。请勿对任何目标站点发起高频请求避免影响网站正常运行。4.2 使用 requests 请求页面首先安装依赖pip install requests beautifulsoup4 lxml下面请求一个公开测试页面并读取响应内容# 文件路径spider_demo.py import requests url http://books.toscrape.com/ try: response requests.get(url, timeout10) print(状态码:, response.status_code) print(编码类型:, response.encoding) print(响应内容长度:, len(response.text)) except requests.RequestException as e: print(请求出错:, e)如果网络正常输出类似状态码: 200 编码类型: ISO-8859-1 响应内容长度: 17885这里需要注意response.encoding不一定准确。当页面没有明确声明字符集时requests会根据 HTTP 头猜测编码有时会猜错。如果发现中文乱码可以手动指定response.encoding utf-8。4.3 使用 BeautifulSoup 解析页面拿到 HTML 文本之后需要从中提取目标数据。BeautifulSoup 提供了find、find_all、select等方法支持通过标签名、class、id、CSS 选择器来定位元素。以 books.toscrape.com 为例页面中的每本书都放在article.product_pod节点中书名在h3 a的title属性里价格在p.price_color的文本中# 文件路径spider_parse.py import requests from bs4 import BeautifulSoup url http://books.toscrape.com/ response requests.get(url, timeout10) response.encoding utf-8 soup BeautifulSoup(response.text, html.parser) books soup.select(article.product_pod) for book in books[:5]: title book.h3.a[title] price book.select_one(p.price_color).text print(f书名: {title}价格: {price})示例输出如下具体价格以目标页面为准书名: A Light in the Attic价格: £51.77 书名: Tipping the Velvet价格: £53.74 书名: Soumission价格: £50.10 书名: Sharp Objects价格: £47.82 书名: Sapiens: A Brief History of Humankind价格: £54.23这里的关键是select和select_one的区别select返回所有匹配的元素列表。select_one只返回第一个匹配元素如果没找到则返回None。在实际项目中推荐先查看网页源码确认目标数据的 HTML 结构再编写选择器。不要靠记忆硬写选择器因为不同网站的页面结构千差万别。4.4 使用正则表达式提取关键信息BeautifulSoup 适合处理结构化 HTML但有时数据藏在script标签中的 JavaScript 代码里或者需要从一段文本中按模式匹配这时正则表达式就派上用场了。# 文件路径spider_regex.py import re html div classbook span书名Python编程从入门到实践/span span价格89.00/span /div div classbook span书名Python网络爬虫/span span价格59.00/span /div pattern r书名(.?)/span\s*span价格(\d\.\d) results re.findall(pattern, html) print(results)运行结果[(Python编程从入门到实践, 89.00), (Python网络爬虫, 59.00)]正则表达式的学习曲线比较陡峭初期只要掌握几个常用知识点即可字符类\d、\w、\s量词*、、?分组()以及非贪婪匹配.*?。后面遇到复杂场景再逐步加深。4.5 Scrapy 框架入门当爬虫规模变大需要管理多个页面、处理翻页、限制并发、保存数据时使用框架会比手写 requests 更规范。Scrapy 是 Python 生态中最常用的爬虫框架它的核心组件包括引擎、调度器、下载器、爬虫和管道。安装pip install scrapy创建项目scrapy startproject book_spider cd book_spider新建一个爬虫文件scrapy genspider books books.toscrape.com编辑生成的spiders/books.py文件# 文件路径book_spider/spiders/books.py import scrapy class BooksSpider(scrapy.Spider): name books allowed_domains [books.toscrape.com] start_urls [http://books.toscrape.com/] def parse(self, response): books response.css(article.product_pod) for book in books: yield { title: book.css(h3 a::attr(title)).get(), price: book.css(p.price_color::text).get(), } # 处理翻页 next_page response.css(li.next a::attr(href)).get() if next_page: yield response.follow(next_page, callbackself.parse)运行爬虫scrapy crawl books -O books.json这里需要注意-O参数会直接覆盖输出文件适合重新抓取如果希望追加可以使用-o参数。Scrapy 对初学者来说可能会有一定难度建议先掌握好 requests BeautifulSoup 的爬虫流程再逐步迁移到 Scrapy。不要一上来就啃框架源码。5. Python 数据分析实战5.1 NumPy 数值计算基础NumPy 是 Python 数值计算的基础库Pandas 底层也依赖 NumPy。它提供了一种名为 ndarray 的多维数组对象以及对数组的高效运算。# 文件路径analysis_numpy.py import numpy as np # 创建一维数组 arr1 np.array([1, 2, 3, 4, 5]) print(一维数组:, arr1) print(数组形状:, arr1.shape) # 创建二维数组 arr2 np.array([[1, 2, 3], [4, 5, 6]]) print(二维数组:\n, arr2) print(二维数组形状:, arr2.shape) # 生成等差数组 arr3 np.linspace(0, 1, 5) print(等差数组:, arr3) # 数组运算 print(数组乘以 2:, arr1 * 2) print(数组求和:, arr1.sum()) print(数组均值:, arr1.mean()) print(数组标准差:, arr1.std())运行结果一维数组: [1 2 3 4 5] 数组形状: (5,) 二维数组: [[1 2 3] [4 5 6]] 二维数组形状: (2, 3) 等差数组: [0. 0.25 0.5 0.75 1. ] 数组乘以 2: [ 2 4 6 8 10] 数组求和: 15 数组均值: 3.0 数组标准差: 1.4142135623730951NumPy 的优势是向量化运算不需要写循环就可以对整个数组进行数学操作执行效率远高于普通的 Python 列表循环。5.2 Pandas 数据结构与数据清洗Pandas 的核心数据结构是 Series 和 DataFrame。Series 可以理解为带索引的一维数组DataFrame 则是带行索引和列名的二维表格。# 文件路径analysis_pandas.py import pandas as pd # 从字典创建 DataFrame data { 姓名: [张三, 李四, 王五, 赵六, 孙七], 城市: [北京, 上海, 广州, 深圳, 杭州], 年龄: [25, 30, 35, None, 28], 工资: [10000, 15000, 12000, 18000, None], } df pd.DataFrame(data) print(原始数据) print(df) print() # 查看基本信息 print(数据信息) print(df.info()) print() # 缺失值处理 df df.fillna({年龄: df[年龄].median(), 工资: df[工资].mean()}) print(填充缺失值后) print(df) print() # 按城市分组求平均工资 print(按城市分组统计) print(df.groupby(城市)[工资].mean())在实际数据清洗中fillna只是一个起点。更完整的数据清洗流程通常包括检查并删除完全重复的行。对缺失值决定填充还是删除。将时间列转换为datetime类型。处理文本中的空格、大小写、单位符号。通过info()、describe()检查数据分布是否异常。5.3 Matplotlib 数据可视化数据清洗之后可视化能帮助快速发现问题。Matplotlib 是最常用的绘图库下面演示折线图、柱状图和直方图。# 文件路径analysis_plot.py import matplotlib.pyplot as plt import numpy as np # 支持中文 plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False # 折线图 x np.linspace(0, 10, 100) y np.sin(x) plt.figure(figsize(8, 4)) plt.plot(x, y, labelsin(x)) plt.title(折线图示例) plt.xlabel(x) plt.ylabel(y) plt.legend() plt.show()这里需要特别说明在 Windows 上如果没有安装 SimHei 字体中文字符可能会显示为方块。你可以把字体替换为系统中已有的中文字体例如Microsoft YaHei这在数据分析和可视化过程中是一个很常见的坑。柱状图示例# 文件路径analysis_bar.py import matplotlib.pyplot as plt categories [Python, Java, Go, C, JavaScript] values [95, 80, 70, 65, 60] plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False plt.bar(categories, values) plt.title(编程语言热度对比) plt.xlabel(语言) plt.ylabel(热度值) plt.show()5.4 数据分析项目流程一个标准的数据分析项目流程如下明确分析目标例如“分析某网站图书价格分布情况”。收集数据可以从数据库导出也可以使用爬虫采集公开数据。数据清洗处理缺失值、重复值、异常值。探索性分析统计均值、中位数、众数、分位数发现整体分布规律。可视化用折线图、柱状图、饼图、散点图展示关系。输出结论形成简洁明确的分析报告。这六个步骤中数据清洗往往占用最多时间。如果你清洗出来的数据质量差后面的分析和可视化再好看也没有说服力。6. 综合实战案例爬取图书数据并完成分析6.1 需求分析本次实战的目标是爬取公开测试站点 books.toscrape.com 第一页的图书数据将书名、价格、评分等字段保存到 CSV 文件再用 Pandas 读取该文件完成图书价格描述性统计和可视化分析。这个案例虽然规模不大但完整覆盖了“网络爬虫 数据分析”的完整链路。读者学会之后完全可以把同样的套路迁移到其他公开数据结构上。6.2 数据采集代码# 文件路径project/step1_spider.py import csv import requests from bs4 import BeautifulSoup url http://books.toscrape.com/ response requests.get(url, timeout10) response.encoding utf-8 soup BeautifulSoup(response.text, html.parser) books soup.select(article.product_pod) rows [] for book in books: title book.h3.a[title] price_text book.select_one(p.price_color).text # 去掉货币符号转为浮点数 price float(price_text.replace(£, )) rating book.select_one(p.star-rating)[class][1] rows.append({title: title, price: price, rating: rating}) # 写入 CSV 文件 with open(books.csv, w, newline, encodingutf-8) as f: writer csv.DictWriter(f, fieldnames[title, price, rating]) writer.writeheader() writer.writerows(rows) print(f爬取完成共保存 {len(rows)} 条数据)代码中将对价格的文本去掉了英镑符号£并转换成浮点数。这一步虽然简单但实际爬虫项目中很常出现“价格是 £51.77 这种带符号的字符串”如果直接用pd.read_csv读入它会被当成字符串无法参与数值计算。6.3 数据分析代码# 文件路径project/step2_analysis.py import pandas as pd import matplotlib.pyplot as plt # 读取数据 df pd.read_csv(books.csv) # 查看数据基本信息 print(数据前 5 行) print(df.head()) print() print(数据统计信息) print(df.describe()) print() # 按评分分组统计平均价格 print(各评分对应的平均价格) print(df.groupby(rating)[price].mean()) print() # 绘制价格分布直方图 plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False df[price].plot(kindhist, bins10, title图书价格分布, figsize(8, 4)) plt.xlabel(价格) plt.ylabel(数量) plt.show()预期输出类似数据前 5 行 title price rating 0 A Light in the Attic 51.77 Three 1 Tipping the Velvet 53.74 One 2 Soumission 50.10 One 3 Sharp Objects 47.82 Four 4 Sapiens: A Brief History of Humankind 54.23 Five实际数据以抓取到的页面内容为准。在运行groupby时你会发现评分是字符串类型排序可能不是按照 One、Two、Three 的逻辑顺序因为字符串排序默认按字母顺序。如果要严格按评分高低排序可以先把评分映射成数值rating_map {One: 1, Two: 2, Three: 3, Four: 4, Five: 5} df[rating_num] df[rating].map(rating_map)这个映射思路不仅适用于这里的图书评分也适用于任何需要把分类文本转换成数值的场景。6.4 扩展思路使用模拟数据如果网络环境无法访问外部测试站点或者目标站点临时不可用可以跳过爬虫环节直接用 Pandas 生成模拟数据来完成分析部分import pandas as pd import numpy as np np.random.seed(42) df pd.DataFrame({ title: [fbook_{i} for i in range(1, 21)], price: np.round(np.random.uniform(20, 60, 20), 2), rating: np.random.choice([One, Two, Three, Four, Five], 20), }) df.to_csv(books.csv, indexFalse)这样做的目的是保证数据分析代码在离线环境中也能完整跑通同时也说明了一个工程要点爬虫和数据清洗、数据分析模块最好在代码结构上解耦方便单独测试和维护。7. 常见问题与排查思路零基础学习者写代码时几乎一定会遇到下面这些报错。整理了一张高频问题排查表问题现象常见原因解决思路ModuleNotFoundError: No module named requests当前环境没有安装 requests执行 pip install requests中文输出乱码文件编码或控制台编码不一致Python 文件统一使用 utf-8读取文件时指定 encodingutf-8爬虫请求返回 403目标网站拒绝了默认请求头添加 User-Agent、Referer 等请求头保持正常的浏览器请求特征爬虫请求返回 418目标网站开启了反爬策略停止对目标站点频繁请求检查是否需要处理 Cookie 或验证码非法绕过不可取pd.read_csv 报错文件路径不对或编码不一致使用绝对路径或相对路径检查文件指定 encodingutf-8DataFrame 列名为中文但绘图乱码Matplotlib 默认字体不支持中文设置 plt.rcParams[font.sans-serif]Python 找不到已安装的库pip 安装到了其他 Python 环境确认当前终端使用的是哪个 Python使用python -m pip install列表索引越界页面结构变化或选择器写错打印页面片段使用 select_one 避免下标访问这里单独说一个最常见的错误ModuleNotFoundError。很多人安装了依赖却仍然报这个错原因是系统里有多个 Python 环境pip install装到了 A 环境而运行代码使用的是 B 环境。解决办法是使用虚拟环境或者统一通过python -m pip install的方式安装依赖。另一个很常见的问题是爬虫代码在本地运行正常换了环境就报错。这通常是因为页面结构发生变化或者是网络环境不同导致请求失败。建议在实际项目中把解析逻辑单独拆成函数方便对不同页面版本做兼容处理。8. 最佳实践与工程建议8.1 Python 基础阶段编码习惯从刚开始学 Python 就要注意代码的可读性。命名变量时不要使用a、b、tmp这种无意义名称建议使用能够表达含义的英文单词或短语。函数名用动词开头例如get_book_price、save_to_csv常量全部大写。代码中适当添加注释但不要每一行都写注释。注释应该解释“为什么这么做”而不是简单复述代码在做什么。比如# 统计平均价格时先剔除空值否则结果会偏小 valid_prices df[price].dropna()8.2 爬虫合规与请求策略爬虫并非所有内容都可以随意抓取。实战之前要注意以下几点查看目标网站的robots.txt文件了解哪些路径允许抓取。查看网站服务条款尊重网站的数据使用规定。控制请求频率避免在短时间内发送大量请求对服务器造成压力。不采集个人敏感信息不涉及账号数据、私信内容、未公开资料等。抓取到的数据仅用于学习研究不用于商业牟利或泄露传播。在代码层面可以在请求之间增加随机延时import time import random # 每次请求后随机暂停 1 到 3 秒 time.sleep(random.uniform(1, 3))这个延时设置体现了对目标服务器的基本尊重也是爬虫工程化时必须考虑的细节。8.3 数据分析流程规范数据分析代码最好分成三个模块数据加载、数据处理、结果输出。每个模块的职责单一即使后续数据源变化也能快速修改。数据清洗前先用df.info()了解各列的数据类型和缺失情况清洗后再把处理逻辑封装成函数方便复用。分析结果不要只输出一个图表建议结合describe()、groupby()等统计结果一起说明尽量避免“看图说话”式的空泛描述。8.4 项目结构与版本管理当项目规模变大时建议使用类似下面的目录结构project/ ├── spiders/ # 爬虫代码 │ ├── __init__.py │ └── book_spider.py ├── analysis/ # 数据分析代码 │ ├── __init__.py │ └── analysis.py ├── data/ # 原始数据与结果数据 │ ├── raw/ │ └── output/ ├── requirements.txt └── README.md使用 Git 管理项目是工程化开发的基本要求。每次功能稳定后及时提交版本出现问题时也能快速回退。依赖文件requirements.txt要定期维护方便其他人在新环境里一键安装依赖。9. 总结与下一步学习路线梳理一下本文的核心内容我们搭建了 Python 开发环境学习了变量、函数、文件操作和异常等基础语法随后进入网络爬虫实战掌握 requests、BeautifulSoup、正则表达式和 Scrapy 的基础用法再用 Pandas 和 Matplotlib 完成了数据清洗与可视化。最后通过一个“爬取图书数据并分析价格分布”的综合案例把爬虫和数据分析串联成了完整的项目流程。接下来可以继续完善这几个方向深入学习 Pandas 的高阶用法比如数据透视表、时间序列处理、多表 Join。学习数据库操作用 SQLite 或 MySQL 替代 CSV 存储爬虫数据。把 Scrapy 项目部署到服务器配置定时任务实现定期抓取。尝试使用 Seaborn 绘制更美观的图表掌握更多可视化表达方式。如果对后端感兴趣可以学习 Flask 或 FastAPI把爬虫数据分析结果封装成 Web 接口。对于零基础同学我给出的最实在建议是看完一章就动手敲一遍不要只看不练。遇到报错没关系把报错信息贴到搜索引擎通常是学习效率最高的时刻。今天提到的这些代码从环境安装到综合案例每一步都值得亲手跑通。当你真正运行出一个图表、分析出一组规律时那种成就感会推动你继续学下去。 Python零基础入门：从基础语法到爬虫与数据分析实战
1. 背景与核心概念1.1 为什么 Python 适合零基础入门很多刚开始学编程的朋友都有过类似困扰网上资料太多、知识点太散、教程之间重复度高今天看一集变量、明天看一集循环学了一个月还是只能打印字符串。Python 之所以适合零基础入门核心原因是它的语法接近自然语言不需要花大量时间去记忆复杂符号。同样是输出一行内容在 Python 里只需要一行print()而在其他语言里可能需要先写类、再写主函数、还要处理括号和分号。这种低门槛特性让初学者能把精力集中在“编程思维”上而不是纠结语法细节。更重要的是Python 的应用路径非常清晰。从基础语法出发可以快速走入网络爬虫和数据分析这两个高频方向。爬虫能让你真实地“拿到数据”数据分析能让你“处理数据、发现规律”两者结合之后你实际上已经完成了一个完整的数据处理闭环。这也是为什么很多转行数据分析、后端开发、自动化方向的开发者都会把 Python 作为第一门主语言。1.2 Python 网络爬虫是什么网络爬虫简单来说就是编写程序自动请求网页并从返回的 HTML、JSON、XML 等数据中提取出我们需要的信息。它可以替代人工复制粘贴在合法合规的前提下高效地从公开网页中采集结构化数据。一个典型的爬虫流程可以拆成四步找到目标 URL分析页面结构。使用requests等库向目标地址发起 HTTP 请求。从响应内容中通过BeautifulSoup、re、XPath等方式解析数据。将解析结果保存到 CSV、Excel、数据库或 JSON 文件中。需要特别强调的是爬虫应当在遵守网站的robots.txt协议、不涉及个人隐私、不干扰网站正常运行的前提下进行学习与使用。本文所有示例仅用于技术研究与学习实战前请务必确认目标网站的使用条款。1.3 Python 数据分析是什么数据分析是拿到数据之后的工作。原始数据往往是杂乱无章的包含缺失值、重复值、异常值、格式不统一等问题。数据分析要做的事情就是通过清洗、转换、聚合、可视化等手段把数据变成能辅助决策的结论。在 Python 生态中数据分析最核心的三件套是NumPy提供高性能的多维数组对象和数学运算能力。Pandas提供 DataFrame 和 Series 两种数据结构擅长表格数据的读取、清洗、筛选、分组和聚合。Matplotlib / Seaborn负责把分析结果可视化帮助发现数据背后的变化趋势和分布规律。把爬虫和数据分析串联起来后你就能自己完成一条完整的数据流水线写爬虫采集数据用 Pandas 清洗整理用 Matplotlib 输出图表最后形成一份包含结论的分析报告。2. 环境准备与版本说明2.1 Python 安装与验证在学习之前第一步是正确安装 Python。你可以前往 Python 官方站点下载最新的稳定版本本文示例以 Python 3.10 及以上版本为例如果你使用的是更新的 3.x 版本操作思路完全一致。在 Windows 上安装时需要注意勾选Add Python to PATH这样后续才能在命令行中直接使用python命令。安装完成后打开终端或命令行窗口输入python --version如果看到类似Python 3.10.x的输出说明安装成功。如果提示找不到命令可以重启终端或者手动检查环境变量中是否已经添加 Python 安装路径。2.2 IDE 与编辑器选择对零基础同学来说我建议使用 PyCharm Community Edition 或 Visual Studio Code。PyCharm 的优点是对新手友好创建项目、运行脚本、安装依赖都有图形界面提示VS Code 则更轻量配合 Python 插件后体验也很好。安装 VS Code 后建议安装以下扩展Python微软官方。Pylance提供代码补全和类型提示。Python Debugger用于断点调试。不管用哪个编辑器只要能实现三个功能就够了编写代码、一键运行、看到报错信息。2.3 pip 包管理工具使用Python 的第三方库通过 pip 安装。常用命令如下# 安装某个库 pip install requests # 安装多个库 pip install requests beautifulsoup4 pandas matplotlib scrapy # 查看已安装的库 pip list # 导出当前环境依赖 pip freeze requirements.txt在某些系统或虚拟环境里如果同时存在 Python 2 和 Python 3可能需要使用pip3命令或者通过python -m pip的方式执行安装。2.4 创建虚拟环境强烈建议在正式学习时使用虚拟环境。虚拟环境可以把不同项目的依赖隔离避免出现“这个项目装的是 requests 2.x另一个项目需要 requests 3.x两者互相冲突”的问题。创建虚拟环境的命令如下# 创建虚拟环境 python -m venv pyenv # 激活虚拟环境 # Windows 系统 pyenv\Scripts\activate # macOS / Linux 系统 source pyenv/bin/activate激活之后命令行前面会出现(pyenv)的标记此时再执行pip install安装的包就会进入当前虚拟环境不会影响全局环境。3. Python 基础语法拆解3.1 变量、数据类型与输入输出Python 的变量不需要声明类型直接赋值即可。常见的数据类型包括整数、浮点数、字符串、布尔值、列表、元组、字典和集合。下面来看一个最基础的综合示例# 文件路径demo_basic.py name 小明 age 20 height 175.5 scores [90, 85, 88, 92, 79] info {name: name, age: age, city: 上海} print(姓名:, name) print(年龄:, age) print(身高:, height) print(成绩列表:, scores) print(字典信息:, info) # 使用 f-string 格式化输出 print(f总分: {sum(scores)}平均分: {sum(scores) / len(scores):.2f})运行结果姓名: 小明 年龄: 20 身高: 175.5 成绩列表: [90, 85, 88, 92, 79] 字典信息: {name: 小明, age: 20, city: 上海} 总分: 434平均分: 86.80这里需要注意列表是可变类型可以对元素进行修改而字符串是不可变类型不能直接通过下标修改字符。初学者最容易在这个地方踩坑。3.2 条件判断与循环条件判断使用if / elif / else循环主要使用for和while。Python 用缩进来控制代码块范围这一点和 C 语言、Java 的花括号完全不同务必保持统一缩进推荐使用 4 个空格。# 文件路径demo_flow.py score 85 if score 90: level 优秀 elif score 80: level 良好 elif score 60: level 及格 else: level 不及格 print(成绩等级:, level) # for 循环遍历列表 fruits [apple, banana, orange] for fruit in fruits: print(f当前水果: {fruit}) # while 循环计算 1 到 100 的和 total 0 i 1 while i 100: total i i 1 print(1 加到 100 的结果:, total)运行结果成绩等级: 良好 当前水果: apple 当前水果: banana 当前水果: orange 1 加到 100 的结果: 50503.3 函数与模块函数的作用是封装重复代码让程序结构更清晰。定义一个函数使用def关键字函数可以有参数、默认值和返回值。# 文件路径demo_func.py def cal_area(width, height10): 计算矩形面积height 有默认值 area width * height return area # 只传一个参数时height 使用默认值 10 print(cal_area(5)) # 传两个参数时height 显式覆盖默认值 print(cal_area(5, 20))运行结果50 100在实际项目中我们通常还会把不同功能的代码拆到不同文件里用import导入。比如在utils.py中定义函数然后在main.py中调用这样代码可读性和维护性会好很多。3.4 文件读写与异常处理文件读写是爬虫和数据分析的基础因为爬虫经常要把数据写入 CSV 文件数据分析经常要读取 Excel 或 CSV 文件。# 文件路径demo_file.py # 写入文件 with open(test.txt, w, encodingutf-8) as f: f.write(hello python\n) f.write(这是一行中文\n) # 读取文件 with open(test.txt, r, encodingutf-8) as f: content f.read() print(content)使用with open的好处是即使程序发生异常文件也能被正确关闭避免资源泄漏。异常处理方面最常用的结构是try / except / else / finally# 文件路径demo_except.py try: num int(input(请输入一个数字: )) result 100 / num except ValueError: print(输入的不是有效数字) except ZeroDivisionError: print(不能除以 0) else: print(f计算结果: {result}) finally: print(程序执行结束)这里需要说明的是except不能只写异常类而忽略逻辑判断。如果输入“abc”int()会抛出ValueError如果输入“0”除法会抛出ZeroDivisionError。分别捕获两种异常后程序的提示信息会更清晰排查问题也更容易。3.5 面向对象入门Python 是一门面向对象语言虽然基础脚本阶段不强制使用面向对象但后续学习 Scrapy 框架时会频繁遇到类、继承、方法重写等概念所以提前掌握会轻松很多。# 文件路径demo_class.py class Student: def __init__(self, name, score): self.name name self.score score def get_grade(self): if self.score 90: return 优秀 elif self.score 80: return 良好 else: return 及格 stu Student(小红, 95) print(f{stu.name} 的等级是 {stu.get_grade()})运行结果小红 的等级是 优秀在这个示例中__init__是构造方法用于初始化对象属性get_grade是实例方法可以通过对象直接调用。理解了这个结构后续看 Scrapy 的 Spider 类会轻松很多。4. Python 网络爬虫实战4.1 爬虫的基本流程与核心思想爬虫的核心是模拟浏览器向服务器发起请求然后从服务器返回的数据中提取信息。这里的“数据”不一定只有 HTML 页面也可能是 JSON 接口、图片文件、PDF 文档等。理解爬虫的关键在于两件事找到数据的真实来源。有些网页是服务端直接渲染 HTML有些则是通过 JavaScript 异步加载 JSON 数据后者需要先分析接口地址再直接请求接口。选择合适的解析方式。对于 HTML 页面可以用 BeautifulSoup 或 lxml对于 JSON 数据直接使用 Python 内置的json模块即可。为了让读者能够在本地环境中安全练习本文使用爬虫学习领域常用的公开测试站点作为示例。请勿对任何目标站点发起高频请求避免影响网站正常运行。4.2 使用 requests 请求页面首先安装依赖pip install requests beautifulsoup4 lxml下面请求一个公开测试页面并读取响应内容# 文件路径spider_demo.py import requests url http://books.toscrape.com/ try: response requests.get(url, timeout10) print(状态码:, response.status_code) print(编码类型:, response.encoding) print(响应内容长度:, len(response.text)) except requests.RequestException as e: print(请求出错:, e)如果网络正常输出类似状态码: 200 编码类型: ISO-8859-1 响应内容长度: 17885这里需要注意response.encoding不一定准确。当页面没有明确声明字符集时requests会根据 HTTP 头猜测编码有时会猜错。如果发现中文乱码可以手动指定response.encoding utf-8。4.3 使用 BeautifulSoup 解析页面拿到 HTML 文本之后需要从中提取目标数据。BeautifulSoup 提供了find、find_all、select等方法支持通过标签名、class、id、CSS 选择器来定位元素。以 books.toscrape.com 为例页面中的每本书都放在article.product_pod节点中书名在h3 a的title属性里价格在p.price_color的文本中# 文件路径spider_parse.py import requests from bs4 import BeautifulSoup url http://books.toscrape.com/ response requests.get(url, timeout10) response.encoding utf-8 soup BeautifulSoup(response.text, html.parser) books soup.select(article.product_pod) for book in books[:5]: title book.h3.a[title] price book.select_one(p.price_color).text print(f书名: {title}价格: {price})示例输出如下具体价格以目标页面为准书名: A Light in the Attic价格: £51.77 书名: Tipping the Velvet价格: £53.74 书名: Soumission价格: £50.10 书名: Sharp Objects价格: £47.82 书名: Sapiens: A Brief History of Humankind价格: £54.23这里的关键是select和select_one的区别select返回所有匹配的元素列表。select_one只返回第一个匹配元素如果没找到则返回None。在实际项目中推荐先查看网页源码确认目标数据的 HTML 结构再编写选择器。不要靠记忆硬写选择器因为不同网站的页面结构千差万别。4.4 使用正则表达式提取关键信息BeautifulSoup 适合处理结构化 HTML但有时数据藏在script标签中的 JavaScript 代码里或者需要从一段文本中按模式匹配这时正则表达式就派上用场了。# 文件路径spider_regex.py import re html div classbook span书名Python编程从入门到实践/span span价格89.00/span /div div classbook span书名Python网络爬虫/span span价格59.00/span /div pattern r书名(.?)/span\s*span价格(\d\.\d) results re.findall(pattern, html) print(results)运行结果[(Python编程从入门到实践, 89.00), (Python网络爬虫, 59.00)]正则表达式的学习曲线比较陡峭初期只要掌握几个常用知识点即可字符类\d、\w、\s量词*、、?分组()以及非贪婪匹配.*?。后面遇到复杂场景再逐步加深。4.5 Scrapy 框架入门当爬虫规模变大需要管理多个页面、处理翻页、限制并发、保存数据时使用框架会比手写 requests 更规范。Scrapy 是 Python 生态中最常用的爬虫框架它的核心组件包括引擎、调度器、下载器、爬虫和管道。安装pip install scrapy创建项目scrapy startproject book_spider cd book_spider新建一个爬虫文件scrapy genspider books books.toscrape.com编辑生成的spiders/books.py文件# 文件路径book_spider/spiders/books.py import scrapy class BooksSpider(scrapy.Spider): name books allowed_domains [books.toscrape.com] start_urls [http://books.toscrape.com/] def parse(self, response): books response.css(article.product_pod) for book in books: yield { title: book.css(h3 a::attr(title)).get(), price: book.css(p.price_color::text).get(), } # 处理翻页 next_page response.css(li.next a::attr(href)).get() if next_page: yield response.follow(next_page, callbackself.parse)运行爬虫scrapy crawl books -O books.json这里需要注意-O参数会直接覆盖输出文件适合重新抓取如果希望追加可以使用-o参数。Scrapy 对初学者来说可能会有一定难度建议先掌握好 requests BeautifulSoup 的爬虫流程再逐步迁移到 Scrapy。不要一上来就啃框架源码。5. Python 数据分析实战5.1 NumPy 数值计算基础NumPy 是 Python 数值计算的基础库Pandas 底层也依赖 NumPy。它提供了一种名为 ndarray 的多维数组对象以及对数组的高效运算。# 文件路径analysis_numpy.py import numpy as np # 创建一维数组 arr1 np.array([1, 2, 3, 4, 5]) print(一维数组:, arr1) print(数组形状:, arr1.shape) # 创建二维数组 arr2 np.array([[1, 2, 3], [4, 5, 6]]) print(二维数组:\n, arr2) print(二维数组形状:, arr2.shape) # 生成等差数组 arr3 np.linspace(0, 1, 5) print(等差数组:, arr3) # 数组运算 print(数组乘以 2:, arr1 * 2) print(数组求和:, arr1.sum()) print(数组均值:, arr1.mean()) print(数组标准差:, arr1.std())运行结果一维数组: [1 2 3 4 5] 数组形状: (5,) 二维数组: [[1 2 3] [4 5 6]] 二维数组形状: (2, 3) 等差数组: [0. 0.25 0.5 0.75 1. ] 数组乘以 2: [ 2 4 6 8 10] 数组求和: 15 数组均值: 3.0 数组标准差: 1.4142135623730951NumPy 的优势是向量化运算不需要写循环就可以对整个数组进行数学操作执行效率远高于普通的 Python 列表循环。5.2 Pandas 数据结构与数据清洗Pandas 的核心数据结构是 Series 和 DataFrame。Series 可以理解为带索引的一维数组DataFrame 则是带行索引和列名的二维表格。# 文件路径analysis_pandas.py import pandas as pd # 从字典创建 DataFrame data { 姓名: [张三, 李四, 王五, 赵六, 孙七], 城市: [北京, 上海, 广州, 深圳, 杭州], 年龄: [25, 30, 35, None, 28], 工资: [10000, 15000, 12000, 18000, None], } df pd.DataFrame(data) print(原始数据) print(df) print() # 查看基本信息 print(数据信息) print(df.info()) print() # 缺失值处理 df df.fillna({年龄: df[年龄].median(), 工资: df[工资].mean()}) print(填充缺失值后) print(df) print() # 按城市分组求平均工资 print(按城市分组统计) print(df.groupby(城市)[工资].mean())在实际数据清洗中fillna只是一个起点。更完整的数据清洗流程通常包括检查并删除完全重复的行。对缺失值决定填充还是删除。将时间列转换为datetime类型。处理文本中的空格、大小写、单位符号。通过info()、describe()检查数据分布是否异常。5.3 Matplotlib 数据可视化数据清洗之后可视化能帮助快速发现问题。Matplotlib 是最常用的绘图库下面演示折线图、柱状图和直方图。# 文件路径analysis_plot.py import matplotlib.pyplot as plt import numpy as np # 支持中文 plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False # 折线图 x np.linspace(0, 10, 100) y np.sin(x) plt.figure(figsize(8, 4)) plt.plot(x, y, labelsin(x)) plt.title(折线图示例) plt.xlabel(x) plt.ylabel(y) plt.legend() plt.show()这里需要特别说明在 Windows 上如果没有安装 SimHei 字体中文字符可能会显示为方块。你可以把字体替换为系统中已有的中文字体例如Microsoft YaHei这在数据分析和可视化过程中是一个很常见的坑。柱状图示例# 文件路径analysis_bar.py import matplotlib.pyplot as plt categories [Python, Java, Go, C, JavaScript] values [95, 80, 70, 65, 60] plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False plt.bar(categories, values) plt.title(编程语言热度对比) plt.xlabel(语言) plt.ylabel(热度值) plt.show()5.4 数据分析项目流程一个标准的数据分析项目流程如下明确分析目标例如“分析某网站图书价格分布情况”。收集数据可以从数据库导出也可以使用爬虫采集公开数据。数据清洗处理缺失值、重复值、异常值。探索性分析统计均值、中位数、众数、分位数发现整体分布规律。可视化用折线图、柱状图、饼图、散点图展示关系。输出结论形成简洁明确的分析报告。这六个步骤中数据清洗往往占用最多时间。如果你清洗出来的数据质量差后面的分析和可视化再好看也没有说服力。6. 综合实战案例爬取图书数据并完成分析6.1 需求分析本次实战的目标是爬取公开测试站点 books.toscrape.com 第一页的图书数据将书名、价格、评分等字段保存到 CSV 文件再用 Pandas 读取该文件完成图书价格描述性统计和可视化分析。这个案例虽然规模不大但完整覆盖了“网络爬虫 数据分析”的完整链路。读者学会之后完全可以把同样的套路迁移到其他公开数据结构上。6.2 数据采集代码# 文件路径project/step1_spider.py import csv import requests from bs4 import BeautifulSoup url http://books.toscrape.com/ response requests.get(url, timeout10) response.encoding utf-8 soup BeautifulSoup(response.text, html.parser) books soup.select(article.product_pod) rows [] for book in books: title book.h3.a[title] price_text book.select_one(p.price_color).text # 去掉货币符号转为浮点数 price float(price_text.replace(£, )) rating book.select_one(p.star-rating)[class][1] rows.append({title: title, price: price, rating: rating}) # 写入 CSV 文件 with open(books.csv, w, newline, encodingutf-8) as f: writer csv.DictWriter(f, fieldnames[title, price, rating]) writer.writeheader() writer.writerows(rows) print(f爬取完成共保存 {len(rows)} 条数据)代码中将对价格的文本去掉了英镑符号£并转换成浮点数。这一步虽然简单但实际爬虫项目中很常出现“价格是 £51.77 这种带符号的字符串”如果直接用pd.read_csv读入它会被当成字符串无法参与数值计算。6.3 数据分析代码# 文件路径project/step2_analysis.py import pandas as pd import matplotlib.pyplot as plt # 读取数据 df pd.read_csv(books.csv) # 查看数据基本信息 print(数据前 5 行) print(df.head()) print() print(数据统计信息) print(df.describe()) print() # 按评分分组统计平均价格 print(各评分对应的平均价格) print(df.groupby(rating)[price].mean()) print() # 绘制价格分布直方图 plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False df[price].plot(kindhist, bins10, title图书价格分布, figsize(8, 4)) plt.xlabel(价格) plt.ylabel(数量) plt.show()预期输出类似数据前 5 行 title price rating 0 A Light in the Attic 51.77 Three 1 Tipping the Velvet 53.74 One 2 Soumission 50.10 One 3 Sharp Objects 47.82 Four 4 Sapiens: A Brief History of Humankind 54.23 Five实际数据以抓取到的页面内容为准。在运行groupby时你会发现评分是字符串类型排序可能不是按照 One、Two、Three 的逻辑顺序因为字符串排序默认按字母顺序。如果要严格按评分高低排序可以先把评分映射成数值rating_map {One: 1, Two: 2, Three: 3, Four: 4, Five: 5} df[rating_num] df[rating].map(rating_map)这个映射思路不仅适用于这里的图书评分也适用于任何需要把分类文本转换成数值的场景。6.4 扩展思路使用模拟数据如果网络环境无法访问外部测试站点或者目标站点临时不可用可以跳过爬虫环节直接用 Pandas 生成模拟数据来完成分析部分import pandas as pd import numpy as np np.random.seed(42) df pd.DataFrame({ title: [fbook_{i} for i in range(1, 21)], price: np.round(np.random.uniform(20, 60, 20), 2), rating: np.random.choice([One, Two, Three, Four, Five], 20), }) df.to_csv(books.csv, indexFalse)这样做的目的是保证数据分析代码在离线环境中也能完整跑通同时也说明了一个工程要点爬虫和数据清洗、数据分析模块最好在代码结构上解耦方便单独测试和维护。7. 常见问题与排查思路零基础学习者写代码时几乎一定会遇到下面这些报错。整理了一张高频问题排查表问题现象常见原因解决思路ModuleNotFoundError: No module named requests当前环境没有安装 requests执行 pip install requests中文输出乱码文件编码或控制台编码不一致Python 文件统一使用 utf-8读取文件时指定 encodingutf-8爬虫请求返回 403目标网站拒绝了默认请求头添加 User-Agent、Referer 等请求头保持正常的浏览器请求特征爬虫请求返回 418目标网站开启了反爬策略停止对目标站点频繁请求检查是否需要处理 Cookie 或验证码非法绕过不可取pd.read_csv 报错文件路径不对或编码不一致使用绝对路径或相对路径检查文件指定 encodingutf-8DataFrame 列名为中文但绘图乱码Matplotlib 默认字体不支持中文设置 plt.rcParams[font.sans-serif]Python 找不到已安装的库pip 安装到了其他 Python 环境确认当前终端使用的是哪个 Python使用python -m pip install列表索引越界页面结构变化或选择器写错打印页面片段使用 select_one 避免下标访问这里单独说一个最常见的错误ModuleNotFoundError。很多人安装了依赖却仍然报这个错原因是系统里有多个 Python 环境pip install装到了 A 环境而运行代码使用的是 B 环境。解决办法是使用虚拟环境或者统一通过python -m pip install的方式安装依赖。另一个很常见的问题是爬虫代码在本地运行正常换了环境就报错。这通常是因为页面结构发生变化或者是网络环境不同导致请求失败。建议在实际项目中把解析逻辑单独拆成函数方便对不同页面版本做兼容处理。8. 最佳实践与工程建议8.1 Python 基础阶段编码习惯从刚开始学 Python 就要注意代码的可读性。命名变量时不要使用a、b、tmp这种无意义名称建议使用能够表达含义的英文单词或短语。函数名用动词开头例如get_book_price、save_to_csv常量全部大写。代码中适当添加注释但不要每一行都写注释。注释应该解释“为什么这么做”而不是简单复述代码在做什么。比如# 统计平均价格时先剔除空值否则结果会偏小 valid_prices df[price].dropna()8.2 爬虫合规与请求策略爬虫并非所有内容都可以随意抓取。实战之前要注意以下几点查看目标网站的robots.txt文件了解哪些路径允许抓取。查看网站服务条款尊重网站的数据使用规定。控制请求频率避免在短时间内发送大量请求对服务器造成压力。不采集个人敏感信息不涉及账号数据、私信内容、未公开资料等。抓取到的数据仅用于学习研究不用于商业牟利或泄露传播。在代码层面可以在请求之间增加随机延时import time import random # 每次请求后随机暂停 1 到 3 秒 time.sleep(random.uniform(1, 3))这个延时设置体现了对目标服务器的基本尊重也是爬虫工程化时必须考虑的细节。8.3 数据分析流程规范数据分析代码最好分成三个模块数据加载、数据处理、结果输出。每个模块的职责单一即使后续数据源变化也能快速修改。数据清洗前先用df.info()了解各列的数据类型和缺失情况清洗后再把处理逻辑封装成函数方便复用。分析结果不要只输出一个图表建议结合describe()、groupby()等统计结果一起说明尽量避免“看图说话”式的空泛描述。8.4 项目结构与版本管理当项目规模变大时建议使用类似下面的目录结构project/ ├── spiders/ # 爬虫代码 │ ├── __init__.py │ └── book_spider.py ├── analysis/ # 数据分析代码 │ ├── __init__.py │ └── analysis.py ├── data/ # 原始数据与结果数据 │ ├── raw/ │ └── output/ ├── requirements.txt └── README.md使用 Git 管理项目是工程化开发的基本要求。每次功能稳定后及时提交版本出现问题时也能快速回退。依赖文件requirements.txt要定期维护方便其他人在新环境里一键安装依赖。9. 总结与下一步学习路线梳理一下本文的核心内容我们搭建了 Python 开发环境学习了变量、函数、文件操作和异常等基础语法随后进入网络爬虫实战掌握 requests、BeautifulSoup、正则表达式和 Scrapy 的基础用法再用 Pandas 和 Matplotlib 完成了数据清洗与可视化。最后通过一个“爬取图书数据并分析价格分布”的综合案例把爬虫和数据分析串联成了完整的项目流程。接下来可以继续完善这几个方向深入学习 Pandas 的高阶用法比如数据透视表、时间序列处理、多表 Join。学习数据库操作用 SQLite 或 MySQL 替代 CSV 存储爬虫数据。把 Scrapy 项目部署到服务器配置定时任务实现定期抓取。尝试使用 Seaborn 绘制更美观的图表掌握更多可视化表达方式。如果对后端感兴趣可以学习 Flask 或 FastAPI把爬虫数据分析结果封装成 Web 接口。对于零基础同学我给出的最实在建议是看完一章就动手敲一遍不要只看不练。遇到报错没关系把报错信息贴到搜索引擎通常是学习效率最高的时刻。今天提到的这些代码从环境安装到综合案例每一步都值得亲手跑通。当你真正运行出一个图表、分析出一组规律时那种成就感会推动你继续学下去。