服务器设置和教程 · 8 9 月, 2025

优化 Linux 内核网络数据包发送以提升性能

Linux 内核的网络协议栈是实现高效数据通信的核心组成部分，尤其在数据包发送过程中发挥着关键作用。本文深入探讨了数据包发送的机制，重点分析了 ip_queue_xmit 和 ip_fragment 函数，以及它们与下层协议的协作方式。文章结构清晰，内容全面且技术准确，旨在为 IT 专业人士提供实用信息，同时优化搜索引擎可见性。

数据包发送流程解析

Linux 内核中的数据包发送采用分层设计，从网络层逐级传递到链路层，最终到达物理层。这一过程确保了数据在网络中的可靠、高效传输，涉及数据包验证、分片和硬件驱动转发等任务。以下将详细介绍相关核心函数的职责及其交互方式。

ip_queue_xmit 函数在数据包发送中的作用

ip_queue_xmit 函数是网络层的核心组件，负责将 IP 数据包加入发送队列并进行传输。它执行多项关键任务，以确保数据包高效、可靠地发送。

ip_queue_xmit 的主要职责

  • 数据包验证：检查发送设备和数据包的合法性，避免传输错误。
  • 防火墙过滤：根据防火墙规则对数据包进行安全检查。
  • 分片检查：判断数据包大小是否超过最大传输单元（MTU），决定是否需要分片。
  • 数据包缓存：为 TCP 等可靠协议缓存数据包，以支持重传。
  • 多播与广播处理：管理多播和广播数据包的本地回送。
  • 链路层转发：通过 dev_queue_xmit 将数据包传递至链路层处理。

实现细节

该函数接收套接字（sk）、网络设备（dev）、数据包缓冲区（skb）以及控制缓存行为的 free 标志等参数。其工作流程概述如下：

  1. 设备与数据包验证：
    • 确认设备是否有效，若无效则记录错误并退出。
    • 使用 IS_SKB 检查数据包结构的完整性。
  2. 头部与长度设置：
    • 使用 jiffies 设置数据包发送时间。
    • 跳过 MAC 头部定位 IP 头部，并计算 IP 数据报总长度。
  3. 防火墙与分片处理：
    • 执行防火墙规则检查，过滤不符合要求的数据包。
    • 为非分片数据包分配唯一 ID，分片数据包则保持相同 ID。
    • 若数据包大小超过 MTU，则调用 ip_fragment 进行分片。
  4. 缓存与传输：
    • 若 free 为 0，则缓存数据包以支持重传，并增加 sk->packets_out 计数。
    • 若设备正常工作，则通过 dev_queue_xmit 将数据包转发至链路层。
  5. 多播与广播处理：
    • 对多播或广播数据包进行本地回送。
    • 若 TTL 为 0，则丢弃数据包，防止转发。

代码示例：简化的 ip_queue_xmit 工作流程

c
void ip_queue_xmit(struct sock *sk, struct device *dev, struct sk_buff *skb, int free) {
    struct iphdr *iph = (struct iphdr *)(skb->data + dev->hard_header_len);
    skb->dev = dev;
    skb->ip_hdr = iph;
    iph->tot_len = ntohs(skb->len - dev->hard_header_len);

    // 防火墙检查
    if (ip_fw_chk(iph, dev, ip_fw_blk_chain, ip_fw_blk_policy, 0) != 1)
        return;

    // 为非分片数据包分配 ID
    if (free != 2)
        iph->id = htons(ip_id_count++);

    // 需要时进行分片
    if (skb->len > dev->mtu + dev->hard_header_len) {
        ip_fragment(sk, skb, dev, 0);
        kfree_skb(skb, FREE_WRITE);
        return;
    }

    // 计算校验和并转发至链路层
    ip_send_check(iph);
    if (dev->flags & IFF_UP)
        dev_queue_xmit(skb, dev, sk ? sk->priority : SOPRI_NORMAL);
    else
        kfree_skb(skb, FREE_WRITE);
}

使用 ip_fragment 进行数据包分片

当数据包大小超过 MTU 时，ip_fragment 函数负责将其拆分为更小的片段，确保每个片段符合设备 MTU 要求，同时保持数据完整性。

分片处理流程

  • 头部设置：计算 IP 头部和 MAC 头部的长度，确定可用数据空间。
  • 分片检查：检查是否允许分片（通过“禁止分片”标志）。
  • 分片创建：
    • 为每个分片分配新的 sk_buff 结构。
    • 复制原始头部和部分数据载荷。
    • 设置分片偏移量和标志（如非最后一个分片的“更多分片”标志）。
  • 传输：通过 ip_queue_xmit 将每个分片加入发送队列。

关键注意事项

  • 效率权衡：每个分片需附加 IP 头部，降低传输效率，但这是必要措施。
  • 分片对齐：确保分片数据长度为 8 的倍数，以满足协议要求。
  • 错误处理：若禁止分片或分配失败，则发送 ICMP 错误。

代码示例：简化的 ip_fragment 工作流程

c
void ip_fragment(struct sock *sk, struct sk_buff *skb, struct device *dev, int is_frag) {
    struct iphdr *iph = (struct iphdr *)(skb->data + dev->hard_header_len);
    int hlen = iph->ihl * sizeof(unsigned long);
    int mtu = dev->mtu - hlen;
    int left = ntohs(iph->tot_len) - hlen;
    unsigned char *ptr = skb->data + hlen + dev->hard_header_len;
    int offset = is_frag & 2 ? (ntohs(iph->frag_off) & 0x1fff) << 3 : 0;

    if (ntohs(iph->frag_off) & IP_DF) {
        icmp_send(skb, ICMP_DEST_UNREACH, ICMP_FRAG_NEEDED, dev->mtu, dev);
        return;
    }

    while (left > 0) {
        int len = left > mtu ? mtu : left;
        if (len < left)
            len = (len / 8) * 8;

        struct sk_buff *skb2 = alloc_skb(len + hlen + dev->hard_header_len, GFP_ATOMIC);
        if (!skb2) {
            ip_statistics.IpFragFails++;
            return;
        }

        memcpy(skb2->data, skb->data, hlen + dev->hard_header_len);
        memcpy(skb2->data + hlen + dev->hard_header_len, ptr, len);
        skb2->len = len + hlen + dev->hard_header_len;
        iph = (struct iphdr *)(skb2->data + dev->hard_header_len);
        iph->frag_off = htons(offset >> 3);
        if (left > len)
            iph->frag_off |= htons(IP_MF);

        ip_queue_xmit(sk, dev, skb2, 2);
        ptr += len;
        offset += len;
        left -= len;
    }
}

链路层处理：dev_queue_xmit

dev_queue_xmit 函数作为网络层与链路层的桥梁，负责将数据包传递至物理层。

主要功能

  • 设备验证：确保目标设备有效且处于工作状态。
  • 地址解析：若链路层地址未解析，则通过 ARP 完成解析。
  • 队列管理：根据优先级处理数据包队列，支持重传或新数据包。
  • 驱动交互：调用设备驱动的 hard_start_xmit 函数，将数据包发送至硬件。

工作流程

  1. 锁定与验证：
    • 对数据包缓冲区加锁，防止并发修改。
    • 验证设备和数据包的完整性。
  2. 地址解析：
    • 若链路层地址未解析，启动 ARP 解析流程，推迟发送。
  3. 队列处理：
    • 根据优先级将数据包加入设备队列，支持主从设备负载均衡。
    • 管理重传数据包的队列位置。
  4. 数据包发送：
    • 若设备正常，则将数据包传递至驱动程序。
    • 若设备不可用，则丢弃数据包，触发可靠协议的重传。

代码示例：简化的 dev_queue_xmit 工作流程

c
void dev_queue_xmit(struct sk_buff *skb, struct device *dev, int pri) {
    if (!dev) {
        printk("dev_queue_xmit: dev = NULL\n");
        return;
    }

    skb->dev = dev;
    if (!skb->arp && dev->rebuild_header(skb->data, dev, skb->raddr, skb))
        return;

    if (dev->flags & IFF_UP) {
        dev->hard_start_xmit(skb, dev);
    } else {
        kfree_skb(skb, FREE_WRITE);
    }
}

优化数据包发送的最佳实践

为提升 Linux 内核数据包发送效率，可参考以下建议：

  • 减少分片：调整 MTU 设置以降低分片需求，提升吞吐量。
  • 优化防火墙规则：精简防火墙检查，减少处理开销。
  • 利用硬件卸载：使用支持校验和卸载的网卡，减轻 CPU 负担。
  • 监控统计数据：通过 ip_statistics（如 IpOutRequests、IpFragFails）追踪性能瓶颈。

结论

Linux 内核网络协议栈通过模块化、分层设计实现了高效的数据包发送，ip_queue_xmit、ip_fragment 和 dev_queue_xmit 函数在其中扮演了关键角色。这些函数通过验证、分片和转发数据包，确保了网络通信的可靠性和高效性。深入理解这些机制有助于系统管理员和开发者优化网络性能并有效排查问题。

You may also like...