抓包与协议分析：从 Wireshark 到 BPF

0. 元信息

• 主题路径：docs/topics/network/subtopics/packet-analysis/
• 父主题：network
• 主分类：计算机基础
• 辅助分类：工程技术
• 适合对象：会看 IP、TCP、UDP 基本字段，想用包证据排查网络问题的开发者
• 建议周期：4～5 周（每周 6～8 小时，含采集、过滤、解码与报告）
• 前置知识：physical-and-link-layer、tcp-ip-stack、tcp-and-udp
• 最终目标：能安全采集 pcap/PCAPNG，写 tcpdump BPF，使用 Wireshark 与 tshark 分析 DNS、TCP、HTTP、TLS，并用 SSLKEYLOGFILE 完成 TLS 解密

1. 学习路线

抓包位置与权限
  → Ethernet、IP、TCP/UDP 字段
  → pcap 与 PCAPNG
  → tcpdump 采集
  → BPF capture filter
  → Wireshark display filter
  → Follow Stream 与重组
  → tshark 字段导出
  → DNS、HTTP、TLS 分析
  → SSLKEYLOGFILE 与 TLS 解密
  → 性能、丢包与自动化报告

我们先决定在哪抓，再决定抓什么。过滤语法和证据保存都要可复现。

2. 阶段周数分配

3. 九阶段表

4. 第一周任务

Day 7 拆解

步骤 A —— 最小可用（60 分钟）

1. 运行 tcpdump -i any -nn -s 0 -w /tmp/cap.pcap tcp port 443；
2. 在另一终端访问一个测试 HTTPS 站点；
3. 停止采集，用 capinfos /tmp/cap.pcap 记录包数、时长和大小；
4. 在 Wireshark 中定位 TCP 握手和 TLS ClientHello；
5. 保存原始 pcap 和采集命令。

步骤 B —— 补齐四类边界（45 分钟）

• 抓错接口：比较具体网卡与 any 的链路层差异；
• snaplen 太短：用小 -s 制造截断，再与 -s 0 比较；
• 名称解析干扰：比较带和不带 -nn 的输出；
• 高流量文件：运行 editcap -c 1000 cap.pcap split.pcap，确认切片可逐个读取。

5. 阶段通用验收

1. 不看资料写出 10 条常用 tcpdump BPF；
2. 能解释 capture filter 与 display filter 的执行位置和语法差异；
3. 从一个包逐层指出链路、网络、传输、应用字段；
4. 测试空文件、截断包、多接口 PCAPNG、乱序与重传；
5. 至少分析 DNS、TCP、HTTP/TLS 三类流量并保存实际输出；
6. 能说明抓包点、offload、时钟和丢包如何影响判断；
7. 能把图形界面分析改写成 tshark 命令。

6. 最终验收

• 独立完成一次采集，说明接口、过滤器、snaplen、时间范围和权限；
• 写出并验证至少 15 条 BPF 与 15 条 Wireshark display filter；
• 分析至少 8 个案例：DNS 延迟、SYN 重传、RST、窗口受限、HTTP 请求、TLS 握手、TLS 解密、VoIP/RTP 基础统计；
• 完成 1 个综合项目，交付 pcap/PCAPNG、命令、过滤器、时间线、结论与脱敏说明；
• 用 15 分钟讲清“从现象到包证据”的排查过程。

7. 综合项目

首选：Web 请求故障分析包。搭建一个可控客户端和服务端。制造 DNS 慢、连接拒绝、服务端延迟、TLS 配置错误中的至少三种故障。

备选：VoIP 通话质量检查 / API 延迟拆分 / 容器东西向流量分析。

项目必做要求：

1. 场景说明：拓扑、IP、接口、抓包点、时间同步；
2. 采集命令：完整 tcpdump 命令和 BPF；
3. 原始证据：未编辑 pcap/PCAPNG 的哈希和保管位置；
4. 分析步骤：Wireshark 过滤器、tshark 命令、关键帧号；
5. 故障时间线：DNS、TCP、TLS、HTTP 分段耗时；
6. 边界测试：截断、丢包、offload、多接口至少各一次；
7. 安全处理：脱敏 Cookie、Authorization、查询参数、密钥日志；
8. README：依赖、复现、结论、限制与清理步骤。

本主题贡献

本主题沉淀抓包证据链：tcpdump 采集 + BPF 过滤、Wireshark / tshark 解码、pcap / PCAPNG 文件管理与 SSLKEYLOGFILE TLS 解密，所有结论都必须可复现且带哈希。

职责（3 项）

1. 写 tcpdump BPF 表达式（host/net/port/proto/字节偏移 + and/or/not），能在采集前缩窄流量且不漏目标会话，能区分 capture filter（采集前执行）与 display filter（解码后执行）的位置差异；
2. 管理 pcap/PCAPNG 文件（capinfos 看元数据、editcap 切片、mergecap 合并、reordercap 排序），保留只读原始证据 + 哈希，分析副本脱敏后分享；
3. 用 SSLKEYLOGFILE 在受控客户端导出 TLS 会话秘密，配 Wireshark 解密 TLS 1.3，能解释为什么 TLS 1.3 + ECDHE 通常不能用服务端私钥解密（没有前向保密破解路径）。

交付物（4 项）

1. 10 条 tcpdump BPF + 命中数（tcp[tcpflags] & tcp-syn != 0、udp port 53 and host 1.1.1.1、字节偏移过滤等），能写出 tcpdump -dd 编译后表达式；
2. Wireshark display filter 清单（ip.addr、tcp.stream、dns、http.request、tls.handshake.extensions_server_name），能区分五元组过滤与会话过滤；
3. tshark 字段导出脚本（tshark -r cap.pcap -Y 'http.request' -T fields -e http.host），可复用于 100+ pcap；
4. 一份已解密 HTTPS pcap（SSLKEYLOGFILE + Wireshark）+ 未解密 pcap 对照，证明解密边界。

指标（3 项）

1. 高吞吐抓包丢包率 ≤ 0.1%（-B buffer、-s 0 snaplen、-W 轮转 + dropped by kernel 监控）；
2. BPF 表达式误判率 = 0（先宽后窄，采样验证后再压紧）；
3. pcap 脱敏覆盖率 100%（Cookie/Authorization/查询参数/密钥日志零泄漏，保留原件访问控制）。

8. 推荐开源资料

Wireshark 采用 GPL-2.0-or-later。tcpdump 与 libpcap 使用 BSD 风格许可证。引用代码或分发二进制前先看仓库 LICENSE。

9. 学习资料汇聚（v0.3 自包含）

本节由本计划生成。工具行为以官方手册、格式规范和实际样本为准。

9.1 背景与动机

网络故障常跨进程、内核、交换机和远端服务。日志只展示应用看到的结果。抓包保留线上实际传输的帧、时间戳和协议字段，能回答谁先发、对方是否回、延迟出在哪。

1987 年的 tcpdump 把命令行抓包带到 Unix。Van Jacobson、Craig Leres、Steven McCanne 等人的 BPF 设计让过滤在内核侧执行。Gerald Combs 在 1998 年创建 Ethereal，后来更名 Wireshark。今天 libpcap、tcpdump、Wireshark、tshark 仍是协议开发和网络排障常用工具。

抓包也会收集账号、Cookie、业务数据和密钥。我们只抓必要范围。共享前要脱敏，密钥日志按敏感凭据保管。

9.2 概念地图

flowchart LR
  Wire[链路流量] --> Point[抓包点 / 接口]
  Point --> Capture[libpcap / Npcap]
  BPF[BPF capture filter] --> Capture
  Capture --> File[pcap / PCAPNG]
  File --> WS[Wireshark]
  File --> TS[tshark]
  WS --> Dissector[Protocol dissector]
  TS --> Dissector
  Dissector --> DF[display filter]
  Dissector --> Stream[TCP reassembly / Follow Stream]
  Dissector --> Stats[RTT / IO Graph / Expert Info]
  Keys[SSLKEYLOGFILE] --> TLS[TLS 解密]
  TLS --> Dissector
  File --> Tools[capinfos / editcap / mergecap]

BPF 在采集前决定哪些包进入文件。display filter 在解码后筛选视图。pcap 保存包和基础元数据。PCAPNG 还能记录多接口、名称解析和注释。dissector 把字节解释成字段。TCP 重组再把分段还原为应用数据。

9.3 基础知识讲解

经典论文

经典书籍

优秀博客

核心人物

开发方法

9.4 经典问题与经典案例

9.5 学习难点

概念难点

思维难点

工程难点

9.6 技术标准与接口

9.6.1 Entity

9.6.2 Scope

• pcap/PCAPNG：保存捕获包和元数据。它们不保证文件中的每个包都曾在线上出现，也不证明未记录的包不存在。
• Classic BPF：在采集路径筛选包。它适合固定头部字段和有限字节检查，不负责应用层重组。
• Wireshark display filter：对 dissector 生成的字段筛选和比较。它不减少已经采集的文件大小。
• tshark：复用 Wireshark dissector 做命令行解码、过滤和统计。它不是 tcpdump BPF 的替代品，采集与读取选项要分清。
• SSLKEYLOGFILE：常见客户端导出 TLS 会话秘密的事实接口。它不属于 TLS RFC，也不应在非授权环境使用。

9.6.3 Structure

pcap 由全局头和一串 packet record 组成。每条记录含时间戳、捕获长度、线上长度和包字节。PCAPNG 使用块结构，常见块包括 Section Header Block、Interface Description Block、Enhanced Packet Block、Name Resolution Block。

必须掌握的接口与字段：

• libpcap：pcap_open_live、pcap_compile、pcap_setfilter、pcap_next_ex、pcap_dump、pcap_close；
• BPF：host、net、port、portrange、src、dst、ether、ip、ip6、tcp、udp、icmp、and、or、not；
• tcpdump：-i、-nn、-s、-B、-c、-w、-r、-C、-G、-W；
• Wireshark：frame、tcp.stream、udp.stream、tcp.analysis.*、Follow Stream、Expert Information；
• tshark：-r、-Y、-T fields、-e、-z、-G fields；
• 文件工具：capinfos、editcap、mergecap。

真实命令：

tcpdump -i any -nn -s 0 -w /tmp/cap.pcap tcp port 443
tshark -r cap.pcap -Y 'http.request' -T fields -e http.host
editcap -c 1000 cap.pcap split.pcap

9.6.4 Ecosystem

• 采集实现：libpcap、Npcap、dumpcap、tcpdump、AF_PACKET；
• 分析器：Wireshark、tshark、Zeek、Suricata、Arkime；
• 文件工具：capinfos、editcap、mergecap、reordercap；
• 云与虚拟网络：AWS VPC Traffic Mirroring、Azure vTAP、交换机 SPAN/TAP、容器节点抓包；
• 扩展点：Wireshark dissector 可用 C 或 Lua；libpcap API 可嵌入程序；
• 事实标准与正式规范：pcap 是长期事实格式；PCAPNG 有公开草案；display filter 和 SSLKEYLOGFILE 由实现生态定义。

9.6.5 Depth Tiers

本计划要求达到：L3。做协议工具、网络取证平台或高吞吐探针时进入 L4。

9.6.6 Source

• BPF 论文：https://www.tcpdump.org/papers/bpf-usenix93.pdf
• pcap-filter(7)：https://www.tcpdump.org/manpages/pcap-filter.7.html
• tcpdump(1)：https://www.tcpdump.org/manpages/tcpdump.1.html
• Wireshark User’s Guide：https://www.wireshark.org/docs/wsug_html_chunked/
• TShark manual：https://www.wireshark.org/docs/man-pages/tshark.html
• PCAPNG draft：https://datatracker.ietf.org/doc/draft-gharris-opsawg-pcap/
• 引用版本快照日期：2026-07-30。

10. 常见误区

• 在错误接口抓包，再用空文件证明“网络没发包”；
• 不写抓包点和拓扑，让别人无法解释 NAT、隧道或镜像流量；
• 混用 BPF 与 display filter 语法；
• 为了省空间盲目缩小 snaplen，截断关键 payload；
• 开着名称解析分析故障，引入额外 DNS 流量；
• 把 tcp.analysis.retransmission 标签直接当成链路丢包结论；
• 忽略 checksum offload，把本机发送包误判为校验和损坏；
• 用 -i any 后还按普通 Ethernet 头偏移写过滤器；
• 只看一个端点，无法区分包在中间丢失还是采集器漏记；
• 忽略抓包 drop counter、时间精度和系统时钟；
• 认为服务器私钥可以解密所有 HTTPS。TLS 1.3 和 ECDHE 通常需要会话秘密；
• 把 SSLKEYLOGFILE 放进工单或公开仓库；
• 在生产环境长时间无过滤抓全量，耗尽磁盘并收集过量敏感数据；
• 直接编辑唯一原始 pcap，不留哈希和只读副本；
• tshark 脚本不固定版本，也不检查字段名是否存在。

11. 所有知识点分类（统一规则）

1. 编程语言
2. 数据结构与算法
3. 计算机基础：链路层、IP、TCP/UDP、协议字段、抓包格式
4. 工程技术：tcpdump、Wireshark、tshark、自动化分析
5. Web 与后端：DNS、HTTP、TLS、API 故障排查
6. 前端与客户端
7. 数据与人工智能
8. 项目与职业能力：证据记录、故障报告、协作交接
9. 安全与可靠性：流量脱敏、TLS 密钥、网络取证

本计划归属：计算机基础 主 + 工程技术 辅。