🐍 Python 学习笔记

类与对象（一）

class、__init__、实例方法/类方法/静态方法、self 的本质。理解了 Python 一切皆对象的哲学。

类与对象（二）：继承与多态

单继承、super()、方法重写、鸭子类型。写了一个简单的动物类层次结构。

魔术方法

__str__、__repr__、__eq__、__lt__、__getitem__、上下文管理器 __enter__/__exit__。让自定义类的行为像内置类型一样自然。

property、封装与抽象基类

@property 实现 getter/setter、私有变量命名约定 _name / __name、abc 模块。

datetime 与 time 模块

日期格式化 strftime、时区处理 pytz、时间戳转换、计时器实现。

正则表达式 re 模块

re.match、re.search、re.findall、re.sub、分组捕获。解析日志文件很实用。

import re
pattern = r"(\d{4})-(\d{2})-(\d{2})"
text = "今天日期是 2025-03-11"
match = re.search(pattern, text)
if match:
    year, month, day = match.groups()

os、sys、shutil 系统编程

文件和目录操作、路径处理、环境变量、命令行参数。写了一个批量重命名文件的脚本。

json、csv 数据处理

json.dumps/loads、csv.reader/writer、DictReader。处理了一个真实的 API 返回数据。

logging 日志系统

basicConfig、不同日志级别、Handler（FileHandler、StreamHandler）、Formatter、配置文件加载。告别 print 调试。

argparse 命令行工具

写了一个带参数的命令行工具：python script.py --input file.txt --output result.json。

单元测试入门

unittest 模块、assertEqual、setUp/tearDown、pytest 的基本用法。写测试让人对代码更有信心。

HTTP 协议基础 & requests 库

GET/POST 请求、状态码、请求头/响应头。用 requests 调了几个公开 API，处理 JSON 响应。

Flask 入门（一）：路由与视图

安装 Flask、@app.route()、动态路由、request.args 获取参数。写了第一个 Web 页面 "Hello World"。

from flask import Flask, request
app = Flask(__name__)

@app.route('/')
def home():
    return "<h1>Hello, Python!</h1>"

@app.route('/api/hello')
def hello_api():
    name = request.args.get('name', 'World')
    return {"message": f"Hello {name}"}

Flask 入门（二）：模板与表单

Jinja2 模板引擎、模板继承、表单处理（GET/POST）、flash 消息。做了一个简单的留言板。

Flask 入门（三）：RESTful API

flask-restful、资源类、请求解析。写了一个简单的 Todo API（CRUD）。理解了 REST 设计原则。

Cookie & Session 机制

无状态协议的问题、Flask session 实现、签名 cookie 的安全性。

Flask 蓝图与项目结构

用 Blueprint 拆分模块，搭建了标准的 Flask 项目目录结构。大项目不能全写在一个文件里。

socket 编程基础

TCP 客户端/服务器模型、socket 模块、bind/listen/accept。写了一个简单的回声服务器。

urllib 与 URL 解析

urllib.request、urlparse、处理 URL 编码。理解了 requests 底层是怎么工作的。

虚拟环境与依赖管理

venv、pip freeze > requirements.txt、pipenv。项目之间依赖隔离很重要。

SQLite 基础

Python 内置的 sqlite3 模块、CREATE TABLE、INSERT、SELECT、参数化查询防 SQL 注入。

SQL 进阶：JOIN、聚合、子查询

INNER JOIN、LEFT JOIN、GROUP BY、HAVING、子查询。建了一个用户-订单的关联查询练习。

SELECT u.name, COUNT(o.id) as order_count
FROM users u
LEFT JOIN orders o ON u.id = o.user_id
GROUP BY u.id
HAVING order_count > 5;

MySQL 安装 & 连接

安装 MySQL、pymysql 连接、连接池概念。对比了 SQLite 和 MySQL 的适用场景差异。

ORM 入门：SQLAlchemy（一）

declarative_base、模型定义、session、CRUD 操作。ORM 让代码更像面向对象。

SQLAlchemy（二）：关系映射

relationship、ForeignKey、一对多/多对多、懒加载与立即加载。

数据库迁移：Alembic

alembic init、迁移脚本生成、upgrade/downgrade。上线后改表结构的必备工具。

Redis 入门

安装 Redis、redis-py、字符串/哈希/列表/集合操作。对比了 Redis 和 MySQL 在数据结构层面的不同。

Redis 实战：缓存与 Session

用 Redis 做 Flask 的 session 存储，缓存数据库查询结果（设置 TTL），pipeline 批量操作。

SQL 优化基础

EXPLAIN 分析查询计划、索引原理（B+ Tree）、最左前缀原则、LIKE 通配符对索引的影响。

进程与线程概念

操作系统层面的进程/线程区别、Python 的 GIL（全局解释器锁）。理解了 GIL 对 CPU 密集和 I/O 密集任务的不同影响。

threading 模块基础

Thread、start()、join()、守护线程。写了一个并发下载图片的脚本。

import threading
import requests

def download(url, filename):
    resp = requests.get(url)
    with open(filename, 'wb') as f:
        f.write(resp.content)

threads = []
for i, url in enumerate(urls):
    t = threading.Thread(target=download, args=(url, f"img_{i}.jpg"))
    threads.append(t)
    t.start()

for t in threads:
    t.join()
print("所有下载完成")

线程同步：Lock & RLock

竞态条件、threading.Lock、acquire/release、with lock 上下文语法、可重入锁 RLock。

线程间通信：Queue & Event

queue.Queue（生产者-消费者模式）、threading.Event、Semaphore 控制并发数。

ThreadPoolExecutor 线程池

concurrent.futures.ThreadPoolExecutor、submit()、map()、as_completed()。比手动管理线程优雅得多。

multiprocessing 多进程

Process、Pool、进程间通信 Queue / Pipe。多进程可以绕过 GIL，适合 CPU 密集计算。

进程池 vs 线程池 性能对比

写了一个基准测试：CPU 密集型用多进程快 4x，I/O 密集型用多线程也很快。理解了选型的关键在于任务类型。

协程基础：yield 实现协作式多任务

用生成器模拟协程、yield 发送值 gen.send(value)。为之后学 asyncio 打基础。

asyncio 入门（一）

async/await 语法、asyncio.run()、协程对象 vs 任务、asyncio.sleep()。

asyncio 入门（二）：Task & Future

create_task()、asyncio.gather()、wait()、超时控制 asyncio.wait_for()。

async def fetch_data(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as resp:
            return await resp.json()

async def main():
    urls = ["https://api.example.com/1", "https://api.example.com/2"]
    results = await asyncio.gather(*[fetch_data(u) for u in urls])
    print(results)

asyncio.run(main())

aiohttp 异步 HTTP 请求

安装 aiohttp、异步请求、并发控制（Semaphore）。并发拉取 100 个 API 比 requests 快了十几倍。

Django 入门（一）：项目搭建

django-admin startproject、项目结构、MTV 模式、manage.py。感受到了 Django"自带电池"的理念。

Django 入门（二）：模型与 Admin

models.py 定义模型、makemigrations/migrate、Django Admin 后台自动生成。

Django 入门（三）：视图与模板

函数视图、类视图、TemplateView、ListView、Django 模板语言。

MongoDB 入门

安装 MongoDB、pymongo、文档 CRUD、find() 条件查询、聚合管道。对比了文档型数据库和关系型数据库的设计差异。

ORM 对比：SQLAlchemy vs Django ORM

两种主流 ORM 的语法差异、懒加载策略、N+1 查询问题及优化。SQLAlchemy 更灵活，Django ORM 更便捷。

Git 版本控制 & GitHub 协作

git init、add/commit/push/pull、分支管理、merge/rebase、.gitignore。开始用 Git 管理所有项目代码。

时间/空间复杂度分析

大 O 表示法、O(1)/O(n)/O(n²)/O(log n)。刷了几道 LeetCode 简单题分析复杂度。

排序算法实现

冒泡、选择、插入、快速排序、归并排序。手写快排和归并，理解了分治思想。

链表与二叉树

手写链表类、反转链表、二叉树遍历（前/中/后序、层序）。递归在树结构中很自然。

class TreeNode:
    def __init__(self, val):
        self.val = val
        self.left = None
        self.right = None

def inorder(root):
    if not root:
        return []
    return inorder(root.left) + [root.val] + inorder(root.right)

栈、队列、堆

Python list 作为栈、collections.deque 作为队列、heapq 实现最小堆。用堆解决了 Top K 问题。

哈希表与集合应用

两数之和、链表判环、无重复字符的最长子串。哈希表是空间换时间的经典。

动态规划入门

斐波那契、爬楼梯、背包问题。理解状态转移方程和备忘录优化。

图与 BFS/DFS

邻接表表示图、深度优先搜索、广度优先搜索。用 BFS 解了最短路径（迷宫）问题。

LeetCode 刷题周记

一周刷了 15 道题，涵盖数组、字符串、链表、树。总结了常见题型的解题模板。

二分查找 & 双指针

标准二分查找、边界条件处理、快慢指针（环形链表）、左右指针（两数之和 II）。

MySQL 事务与隔离级别

ACID 特性、读未提交/读已提交/可重复读/串行化、脏读/不可重复读/幻读。MySQL InnoDB 默认 RR。

索引深入：聚簇索引与覆盖索引

InnoDB 聚簇索引结构、二级索引、回表查询、覆盖索引优化。通过 EXPLAIN 验证了 using index。

-- 覆盖索引：查询的所有字段都在索引中
EXPLAIN SELECT id, name FROM users WHERE name = 'Alice';
-- type: ref, Extra: Using index

MySQL 锁机制

行锁、表锁、间隙锁（Gap Lock）、Next-Key Lock、死锁检测。理解了高并发下的锁竞争问题。

PostgreSQL 入门

安装 PostgreSQL、psycopg2 连接、JSONB 数据类型、数组类型。对比了 MySQL 和 PostgreSQL 的特性差异。

Elasticsearch 入门

倒排索引原理、elasticsearch-py、全文搜索、分词器。做了一个简单的博客搜索功能。

数据库设计范式

第一二三范式、反范式化的场景、ER 图设计。设计了一个电商系统的数据库表结构。

数据库备份与恢复

mysqldump、二进制日志（binlog）、时间点恢复。理解了为什么定期备份很重要。

慢查询优化实战

开启慢查询日志、pt-query-digest 分析、改写 SQL、加索引、分页优化。把一个 5 秒的查询优化到了 50ms。

分布式系统基础概念

CAP 定理、BASE 理论、一致性模型（强/弱/最终一致性）、分布式系统面临的挑战（网络分区、时钟同步）。

REST vs RPC

RESTful API 设计规范、RPC 框架概念（gRPC）、Protocol Buffers 序列化。对比了 REST 的灵活性和 RPC 的高效性。

消息队列入门：RabbitMQ

安装 RabbitMQ、pika 库、生产者/消费者模式、Exchange 类型（direct/fanout/topic）。

import pika

connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
channel = connection.channel()
channel.queue_declare(queue='task_queue', durable=True)

channel.basic_publish(
    exchange='',
    routing_key='task_queue',
    body='Hello World',
    properties=pika.BasicProperties(delivery_mode=2))
print("消息已发送")
connection.close()

消息队列：Redis Pub/Sub vs RabbitMQ

Redis 的发布/订阅模式、消息持久化、消费确认。对比了两者在消息可靠性方面的差异。

Celery 分布式任务队列

Celery 架构、broker（Redis/RabbitMQ）、worker、beat 定时任务。异步发送邮件、定时爬虫。

Celery 进阶：任务路由与结果存储

不同队列路由不同任务、任务结果后端（result backend）、任务链（chain）/组（group）/回调（callback）。

Kafka 入门

Kafka 架构（Producer/Broker/Consumer/Topic/Partition）、kafka-python、消息有序性、消费者组。

Kafka vs RabbitMQ 场景选型

Kafka 适合高吞吐日志/事件流（百万级/秒），RabbitMQ 适合可靠的消息投递和复杂路由。选对工具很重要。

分布式锁实现

基于 Redis 的分布式锁（SETNX + 过期时间）、Redlock 算法、基于数据库的乐观锁。理解了什么场景需要分布式锁。

Docker 入门

安装 Docker、docker run/pull/ps/exec、镜像与容器的概念、Dockerfile 编写。

Docker Compose 多容器编排

docker-compose.yml、定义 Web + MySQL + Redis 服务、网络配置、数据卷持久化。

services:
  web:
    build: .
    ports:
      - "5000:5000"
    depends_on:
      - db
      - redis
  db:
    image: mysql:8
    environment:
      MYSQL_ROOT_PASSWORD: secret

Nginx 反向代理与负载均衡

Nginx 配置反向代理、upstream 负载均衡（轮询/IP Hash/最少连接）、静态文件服务。

CI/CD 入门：GitHub Actions

编写 .github/workflows、自动化测试、自动部署到服务器。理解了持续集成/持续部署的流程。

Linux 基础与服务器部署

SSH 连接、文件权限、systemd 服务管理、supervisor 进程管理。终于把 Flask 项目部署到了服务器上。

HTTPS & Let's Encrypt

certbot 申请免费 SSL 证书、自动续期、Nginx SSL 配置。给个人网站配上了 HTTPS。

监控与日志收集

Prometheus 指标收集、Grafana 可视化面板、ELK（Elasticsearch + Logstash + Kibana）日志方案。

性能优化与压力测试

ab（Apache Bench）、locust 压测工具、分析瓶颈（CPU/Memory/I/O）。

Python 项目打包与发布

setuptools、pyproject.toml、发布到 PyPI。包的结构和依赖管理。