为了账号安全，请及时绑定邮箱和手机立即绑定
首页 手记 Netty网络框架学习：从入门到实践指南

Netty网络框架学习：从入门到实践指南

标签：
Java 架构
概述

Netty是一个基于Java NIO的高性能网络框架，简化了网络编程的复杂度。它提供了异步事件驱动的网络通信能力，适用于构建各种高性能的网络应用。本文将详细介绍Netty网络框架的学习内容，包括其基本概念、应用场景和高级特性。Netty网络框架学习涵盖了从基础到高级的各个方面。

Netty网络框架简介

Netty是一个基于Java NIO的异步事件驱动的网络应用框架，它简化了网络编程的复杂度，提供了高性能、高可靠性的网络通信能力。

Netty是什么

Netty是由JBOSS团队开发的一个异步事件驱动的NIO（非阻塞I/O）框架，它是可重用的Java库，用来开发和维护各种类型的服务器和客户端应用程序。Netty的核心优势在于其高效可靠的网络通信能力，能够快速构建高性能的网络应用。

Netty的优势

  1. 高效性：Netty采用了零拷贝技术，减少数据在内存中的拷贝次数，提高传输效率。
  2. 高性能：Netty的异步非阻塞通信模型使得在高并发情况下依然保持高性能。
  3. 灵活性：Netty的灵活设计可以适应各种复杂的网络场景，如长连接、短连接、心跳检测等。
  4. 可靠性：Netty提供了多种机制来确保通信的可靠性和稳定性，如重试策略、心跳检测等。
  5. 可扩展性：Netty提供了丰富的可插拔组件，使得用户可以方便地扩展框架以满足不同的业务需求。
  6. 强大API：Netty提供了一系列强大的API，使得开发者可以快速构建高性能的网络应用。

Netty的应用场景

  1. Web应用：用于实现高性能的Web应用，如Web服务器、Web客户端等。
  2. RPC通信：适用于实现远程过程调用（RPC）服务，提供高效、可靠的通信方式。
  3. 游戏服务器：Netty被广泛应用于游戏服务器中，支持大量的并发连接和复杂的网络通信逻辑。
  4. 物联网：在物联网系统中，Netty可以作为设备与设备之间、设备与云服务器之间通信的核心组件。
  5. 实时应用：适用于需要实时传输数据的应用，如在线聊天、股票行情、在线游戏等。

Netty的基本概念

Bootstrap和ServerBootstrap

Bootstrap和ServerBootstrap是Netty中用于启动客户端和服务端代码的基本类。在Netty中，Bootstrap主要用于客户端的启动，而ServerBootstrap则用于服务端的启动。

  • Bootstrap：创建客户端的启动类，用于初始化客户端的Channel和EventLoop，并配置ChannelPipeline。
  • ServerBootstrap：创建服务端的启动类，用于初始化服务端的Channel和EventLoop，并配置ChannelPipeline。
// 创建客户端Bootstrap实例
Bootstrap clientBootstrap = new Bootstrap();
// 配置ChannelFactory
clientBootstrap.group(bossGroup, workerGroup)
              .channel(NioSocketChannel.class)
              .handler(new ChannelInitializer<SocketChannel>() {
                  @Override
                  public void initChannel(SocketChannel ch) throws Exception {
                      ch.pipeline().addLast(new StringEncoder());
                      ch.pipeline().addLast(new StringDecoder());
                      ch.pipeline().addLast(new ClientHandler());
                  }
              });
// 启动客户端
clientBootstrap.connect("localhost", 8080).sync();
// 创建服务端ServerBootstrap实例
ServerBootstrap serverBootstrap = new ServerBootstrap();
// 配置ChannelFactory
serverBootstrap.group(bossGroup, workerGroup)
               .channel(NioServerSocketChannel.class)
               .childHandler(new ChannelInitializer<SocketChannel>() {
                   @Override
                   public void initChannel(SocketChannel ch) throws Exception {
                       ch.pipeline().addLast(new StringEncoder());
                       ch.pipeline().addLast(new StringDecoder());
                       ch.pipeline().addLast(new ServerHandler());
                   }
               });
// 启动服务端
serverBootstrap.bind(8080).sync();

Channel和ChannelHandler

  • Channel：代表一个网络连接，可以理解为一个TCP连接，包含了一系列的事件处理器（Handler）。每个Channel都有一个与之关联的ChannelPipeline，用于处理不同的网络事件和消息。

  • ChannelHandler：是处理网络事件和消息的接口类，可以通过实现ChannelHandler接口来定义具体的处理逻辑。常见的ChannelHandler有MessageReceived、ChannelActive、ChannelRead、ChannelInactive等。在Netty中，ChannelPipeline负责将消息传递给对应的ChannelHandler进行处理。
public class ClientHandler extends ChannelInboundHandlerAdapter {
    @Override
    public void channelRead(ChannelHandlerContext ctx, Object msg) {
        System.out.println("Client received: " + msg);
    }

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) {
        System.out.println("Client exception caught: " + cause.getMessage());
        ctx.close();
    }
}

EventLoop和EventLoopGroup

  • EventLoop：是线程池中的一个工作线程和一个NIO Selector的组合。每个Channel都会关联一个EventLoop，负责处理该Channel的所有I/O事件（如连接建立、断开、读写等）。

  • EventLoopGroup：是一组EventLoop的集合，用于管理一组EventLoop。通过EventLoopGroup可以创建和管理多个线程池，为不同的Channel提供异步非阻塞的I/O操作。

编解码器（Codec）

Netty提供了强大的编解码机制，用于处理不同格式的消息。常见的编解码器有LengthFieldPrepender、LengthFieldBasedFrameDecoder、StringEncoder、StringDecoder等。

public class LengthFieldPrepender extends AbstractEncoder {
    private final int lengthFieldLength;

    public LengthFieldPrepender(int lengthFieldLength) {
        if (lengthFieldLength <= 0 || lengthFieldLength > 4) {
            throw new IllegalArgumentException("Length field length must be 1-4");
        }
        this.lengthFieldLength = lengthFieldLength;
    }

    @Override
    protected void encode(ChannelHandlerContext ctx, Object msg, ByteBuf out) throws Exception {
        ByteBuf src = (ByteBuf) msg;
        out.writeBytes(src.nioBuffer());
        out.setInt(src.readerIndex() + src.readableBytes() - 4, src.readableBytes());
    }
}

Netty的快速上手

安装Netty

  1. Maven依赖：在项目的pom.xml文件中添加Netty依赖。
<dependency>
    <groupId>io.netty</groupId>
    <artifactId>netty-all</artifactId>
    <version>4.1.68.Final</version>
</dependency>
  1. Gradle依赖：在项目的build.gradle文件中添加Netty依赖。
dependencies {
    implementation 'io.netty:netty-all:4.1.68.Final'
}

创建第一个Netty服务端

public class NettyServer {
    public static void main(String[] args) throws InterruptedException {
        EventLoopGroup bossGroup = new NioEventLoopGroup();
        EventLoopGroup workerGroup = new NioEventLoopGroup();
        try {
            ServerBootstrap bootstrap = new ServerBootstrap();
            bootstrap.group(bossGroup, workerGroup)
                    .channel(NioServerSocketChannel.class)
                    .childHandler(new ChannelInitializer<SocketChannel>() {
                        @Override
                        public void initChannel(SocketChannel ch) throws Exception {
                            ch.pipeline().addLast(new StringEncoder());
                            ch.pipeline().addLast(new StringDecoder());
                            ch.pipeline().addLast(new ServerHandler());
                        }
                    });

            ChannelFuture future = bootstrap.bind(8080).sync();
            future.channel().closeFuture().sync();
        } finally {
            bossGroup.shutdownGracefully();
            workerGroup.shutdownGracefully();
        }
    }
}

public class ServerHandler extends ChannelInboundHandlerAdapter {
    @Override
    public void channelRead(ChannelHandlerContext ctx, Object msg) {
        System.out.println("Server received: " + msg);
    }

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) {
        System.out.println("Server exception caught: " + cause.getMessage());
        ctx.close();
    }
}

创建第一个Netty客户端

public class NettyClient {
    public static void main(String[] args) throws InterruptedException {
        EventLoopGroup group = new NioEventLoopGroup();
        try {
            Bootstrap clientBootstrap = new Bootstrap();
            clientBootstrap.group(group)
                          .channel(NioSocketChannel.class)
                          .handler(new ChannelInitializer<SocketChannel>() {
                              @Override
                              public void initChannel(SocketChannel ch) throws Exception {
                                  ch.pipeline().addLast(new StringEncoder());
                                  ch.pipeline().addLast(new StringDecoder());
                                  ch.pipeline().addLast(new ClientHandler());
                              }
                          });

            ChannelFuture future = clientBootstrap.connect("localhost", 8080).sync();
            future.channel().writeAndFlush(Unpooled.copiedBuffer("Hello Netty", CharsetUtil.UTF_8));
            future.channel().closeFuture().sync();
        } finally {
            group.shutdownGracefully();
        }
    }
}

public class ClientHandler extends ChannelInboundHandlerAdapter {
    @Override
    public void channelRead(ChannelHandlerContext ctx, Object msg) {
        System.out.println("Client received: " + msg);
    }

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) {
        System.out.println("Client exception caught: " + cause.getMessage());
        ctx.close();
    }
}

消息的发送与接收

  1. 服务端发送消息：
public void writeMessage(ChannelHandlerContext ctx, String message) {
    ctx.writeAndFlush(Unpooled.copiedBuffer(message, CharsetUtil.UTF_8));
}
  1. 客户端发送消息：
ChannelFuture future = clientBootstrap.connect("localhost", 8080).sync();
future.channel().writeAndFlush(Unpooled.copiedBuffer("Hello Netty", CharsetUtil.UTF_8));
  1. 服务端接收消息：
@Override
public void channelRead(ChannelHandlerContext ctx, Object msg) {
    System.out.println("Server received: " + msg);
}
  1. 客户端接收消息：
@Override
public void channelRead(ChannelHandlerContext ctx, Object msg) {
    System.out.println("Client received: " + msg);
}

Netty的高级特性

异步非阻塞通信

Netty使用异步非阻塞的方式来处理网络通信，最大限度地提高系统的并发性能。客户端和服务端通过事件驱动的方式来处理网络通信，所有网络事件都在EventLoop中异步处理，不会阻塞主线程。

public class AsyncHandler extends ChannelInboundHandlerAdapter {
    @Override
    public void channelRead(ChannelHandlerContext ctx, Object msg) {
        ctx.executor().execute(new Runnable() {
            @Override
            public void run() {
                System.out.println("Processing message: " + msg);
            }
        });
    }
}

心跳检测与保持连接

为了保持长连接的稳定性，Netty提供了心跳检测机制。心跳检测可以定期发送心跳包来检测连接是否正常，如果长时间没有心跳响应，则可以判断连接已断开。

public class HeartbeatHandler extends ChannelInboundHandlerAdapter {
    private static final ByteBuf HEARTBEAT = Unpooled.copiedBuffer("PING", CharsetUtil.UTF_8);

    @Override
    public void userEventTriggered(ChannelHandlerContext ctx, Object evt) {
        if (evt instanceof IdleStateEvent) {
            ctx.writeAndFlush(HEARTBEAT.duplicate())
                .addListener(ChannelFutureListener.CLOSE_ON_FAILURE);
        }
    }
}

网络粘包拆包处理

在网络传输过程中，由于TCP协议的特点，可能会出现粘包或拆包的情况。粘包是指多个消息被粘连在一起作为一个整体发送，导致无法正确解析；拆包则是指一个完整的消息被拆分成多个部分发送。Netty提供了多种机制来解决这个问题。

public class MessageDelimiterHandler extends ByteToMessageDecoder {
    @Override
    protected void decode(ChannelHandlerContext ctx, ByteBuf in, List<Object> out) throws Exception {
        if (in.readableBytes() >= 4) { // 假设每个消息的长度为4字节
            in.markReaderIndex();
            int length = in.readInt();
            if (length <= in.readableBytes()) {
                ByteBuf message = in.readBytes(length);
                out.add(message);
            } else {
                in.resetReaderIndex();
            }
        }
    }
}

长连接与短连接的应用

  1. 长连接：适用于需要保持长期连接的应用场景，例如聊天室、在线游戏等。长连接通过心跳检测来保持连接的稳定性。

    // 长连接示例
public class LongConnectionHandler extends ChannelInitializer<SocketChannel> {
    @Override
    public void initChannel(SocketChannel ch) throws Exception {
        ch.pipeline().addLast(new StringEncoder());
        ch.pipeline().addLast(new StringDecoder());
        ch.pipeline().addLast(new HeartbeatHandler());
    }
}

  2. 短连接：适用于执行一次性操作的应用场景，例如HTTP请求、文件上传下载等。短连接每次请求完成后都会关闭连接。

    // 短连接示例
public class ShortConnectionHandler extends ChannelInitializer<SocketChannel> {
    @Override
    public void initChannel(SocketChannel ch) throws Exception {
        ch.pipeline().addLast(new StringEncoder());
        ch.pipeline().addLast(new StringDecoder());
        ch.pipeline().addLast(new ShortConnectionHandler());
    }
}

Netty实战案例

实现简单的聊天室应用

public class ChatRoomServer {
    public static void main(String[] args) throws InterruptedException {
        EventLoopGroup bossGroup = new NioEventLoopGroup();
        EventLoopGroup workerGroup = new NioEventLoopGroup();
        try {
            ServerBootstrap bootstrap = new ServerBootstrap();
            bootstrap.group(bossGroup, workerGroup)
                    .channel(NioServerSocketChannel.class)
                    .childHandler(new ChannelInitializer<SocketChannel>() {
                        @Override
                        public void initChannel(SocketChannel ch) throws Exception {
                            ch.pipeline().addLast(new StringEncoder());
                            ch.pipeline().addLast(new StringDecoder());
                            ch.pipeline().addLast(new ChatRoomHandler());
                        }
                    });

            ChannelFuture future = bootstrap.bind(8080).sync();
            future.channel().closeFuture().sync();
        } finally {
            bossGroup.shutdownGracefully();
            workerGroup.shutdownGracefully();
        }
    }
}

public class ChatRoomHandler extends ChannelInboundHandlerAdapter {
    private final Map<Channel, String> clients = new ConcurrentHashMap<>();

    @Override
    public void channelActive(ChannelHandlerContext ctx) {
        clients.put(ctx.channel(), "New User");
        ctx.writeAndFlush("Welcome to the chat room!");
    }

    @Override
    public void channelRead(ChannelHandlerContext ctx, Object msg) {
        String message = (String) msg;
        System.out.println("Received message: " + message);
        for (Channel channel : clients.keySet()) {
            if (channel != ctx.channel()) {
                channel.writeAndFlush(message);
            }
        }
    }

    @Override
    public void channelInactive(ChannelHandlerContext ctx) {
        String clientName = clients.get(ctx.channel());
        clients.remove(ctx.channel());
        System.out.println(clientName + " has left the chat room!");
    }

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) {
        System.out.println("Exception caught: " + cause.getMessage());
        ctx.close();
    }
}
public class ChatRoomClient {
    public static void main(String[] args) throws InterruptedException {
        EventLoopGroup group = new NioEventLoopGroup();
        try {
            Bootstrap clientBootstrap = new Bootstrap();
            clientBootstrap.group(group)
                          .channel(NioSocketChannel.class)
                          .handler(new ChannelInitializer<SocketChannel>() {
                              @Override
                              public void initChannel(SocketChannel ch) throws Exception {
                                  ch.pipeline().addLast(new StringDecoder());
                                  ch.pipeline().addLast(new StringEncoder());
                                  ch.pipeline().addLast(new ChatRoomClientHandler());
                              }
                          });

            ChannelFuture future = clientBootstrap.connect("localhost", 8080).sync();
            future.channel().writeAndFlush("Hello Chat Room");
            future.channel().closeFuture().sync();
        } finally {
            group.shutdownGracefully();
        }
    }
}

public class ChatRoomClientHandler extends ChannelInboundHandlerAdapter {
    @Override
    public void channelRead(ChannelHandlerContext ctx, Object msg) {
        System.out.println("Received message: " + msg);
    }

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) {
        System.out.println("Client exception caught: " + cause.getMessage());
        ctx.close();
    }
}

实现文件传输功能

public class FileTransferServer {
    public static void main(String[] args) throws InterruptedException {
        EventLoopGroup bossGroup = new NioEventLoopGroup();
        EventLoopGroup workerGroup = new NioEventLoopGroup();
        try {
            ServerBootstrap bootstrap = new ServerBootstrap();
            bootstrap.group(bossGroup, workerGroup)
                    .channel(NioServerSocketChannel.class)
                    .childHandler(new ChannelInitializer<SocketChannel>() {
                        @Override
                        protected void initChannel(SocketChannel ch) throws Exception {
                            ch.pipeline().addLast(new ObjectEncoder());
                            ch.pipeline().addLast(new ObjectDecoder(ClassResolvers.cacheNullCheckingResolver()));
                            ch.pipeline().addLast(new FileTransferHandler());
                        }
                    });

            ChannelFuture future = bootstrap.bind(8080).sync();
            future.channel().closeFuture().sync();
        } finally {
            bossGroup.shutdownGracefully();
            workerGroup.shutdownGracefully();
        }
    }
}

public class FileTransferHandler extends ChannelInboundHandlerAdapter {
    @Override
    public void channelRead(ChannelHandlerContext ctx, Object msg) {
        File file = (File) msg;
        System.out.println("Received file: " + file.getName());
    }

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) {
        System.out.println("Exception caught: " + cause.getMessage());
        ctx.close();
    }
}
public class FileTransferClient {
    public static void main(String[] args) throws InterruptedException {
        EventLoopGroup group = new NioEventLoopGroup();
        try {
            Bootstrap clientBootstrap = new Bootstrap();
            clientBootstrap.group(group)
                          .channel(NioSocketChannel.class)
                          .handler(new ChannelInitializer<SocketChannel>() {
                              @Override
                              protected void initChannel(SocketChannel ch) throws Exception {
                                  ch.pipeline().addLast(new ObjectEncoder());
                                  ch.pipeline().addLast(new ObjectDecoder(ClassResolvers.cacheNullCheckingResolver()));
                                  ch.pipeline().addLast(new FileTransferClientHandler());
                              }
                          });

            ChannelFuture future = clientBootstrap.connect("localhost", 8080).sync();
            File file = new File("example.txt");
            future.channel().writeAndFlush(file);
            future.channel().closeFuture().sync();
        } finally {
            group.shutdownGracefully();
        }
    }
}

public class FileTransferClientHandler extends ChannelInboundHandlerAdapter {
    @Override
    public void channelRead(ChannelHandlerContext ctx, Object msg) {
        System.out.println("Received: " + msg);
    }

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) {
        System.out.println("Client exception caught: " + cause.getMessage());
        ctx.close();
    }
}

实现WebSocket服务器

public class WebSocketServer {
    public static void main(String[] args) throws Exception {
        EventLoopGroup bossGroup = new NioEventLoopGroup();
        EventLoopGroup workerGroup = new NioEventLoopGroup();
        try {
            ServerBootstrap bootstrap = new ServerBootstrap();
            bootstrap.group(bossGroup, workerGroup)
                    .channel(NioServerSocketChannel.class)
                    .childHandler(new ChannelInitializer<SocketChannel>() {
                        @Override
                        protected void initChannel(SocketChannel ch) throws Exception {
                            ch.pipeline().addLast(new WebSocketProtocolHandler());
                            ch.pipeline().addLast(new WebSocketHandler());
                        }
                    });

            ChannelFuture future = bootstrap.bind(8080).sync();
            future.channel().closeFuture().sync();
        } finally {
            bossGroup.shutdownGracefully();
            workerGroup.shutdownGracefully();
        }
    }
}

public class WebSocketHandler extends SimpleChannelInboundHandler<FullHttpRequest> {
    @Override
    protected void channelRead0(ChannelHandlerContext ctx, FullHttpRequest request) throws Exception {
        if (request.decoderResult().isFailure()) {
            return;
        }
        if (request.method() != HttpMethod.GET || !request.headers().contains(HttpHeaderNames.UPGRADE, HttpHeaderValues.WEBSOCKET)) {
            ctx.writeAndFlush(new DefaultFullHttpResponse(HttpVersion.HTTP_1_1, HttpResponseStatus.FORBIDDEN));
            return;
        }
        ChannelPipeline pipeline = ctx.pipeline();
        pipeline.addLast(new WebSocketHandler());
    }

    @Override
    public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
        FullHttpRequest request = (FullHttpRequest) msg;
        if (WebSocketUtil.isWebSocketUpgradeRequest(request)) {
            WebSocketUtil.upgradeWebSocketRequest(request, ctx);
        } else {
            super.channelRead(ctx, msg);
        }
    }

    @Override
    public void handlerAdded(ChannelHandlerContext ctx) throws Exception {
        ctx.pipeline().addLast(new WebSocketProtocolHandler());
    }
}

public class WebSocketProtocolHandler extends SimpleChannelInboundHandler<FullHttpRequest> {
    @Override
    protected void channelRead0(ChannelHandlerContext ctx, FullHttpRequest request) throws Exception {
        if (WebSocketUtil.isWebSocketRequest(request)) {
            WebSocketUtil.upgradeWebSocketRequest(request, ctx);
        } else {
            ctx.writeAndFlush(new DefaultFullHttpResponse(HttpVersion.HTTP_1_1, HttpResponseStatus.BAD_REQUEST));
            ctx.close();
        }
    }
}

public class WebSocketHandler extends SimpleChannelInboundHandler<WebSocketFrame> {
    @Override
    protected void channelRead0(ChannelHandlerContext ctx, WebSocketFrame frame) throws Exception {
        if (frame instanceof TextWebSocketFrame) {
            String message = ((TextWebSocketFrame) frame).text();
            System.out.println("Received message: " + message);
            ctx.writeAndFlush(new TextWebSocketFrame(message));
        } else if (frame instanceof CloseWebSocketFrame) {
            ctx.writeAndFlush(new CloseWebSocketFrame(true, 0, "Bye"));
            ctx.close();
        } else {
            ctx.writeAndFlush(frame.retain());
        }
    }
}

总结与展望

Netty学习小结

通过以上章节的学习，我们对Netty网络框架有了全面的了解。从基本概念到高级特性，再到实际应用案例，我们掌握了Netty的方方面面。Netty的强大之处在于其高效的异步非阻塞通信模型、灵活的插件机制以及强大的编解码能力，这些使得Netty成为构建高性能网络应用的理想选择。

推荐的进一步学习资源

  • Netty官方文档：Netty官方文档提供了详细的API文档和示例代码，是进一步学习Netty的宝贵资源。
  • 慕课网：慕课网提供了丰富的Netty在线课程，适合不同层次的学习者。
  • Netty源代码：深入了解Netty的最佳方式是阅读其源代码，GitHub上的Netty代码库提供了完整的源代码和注释，有助于理解Netty的实现细节。
点击查看更多内容
发表于 2024.10.21 22:11， 共 76 人浏览

本文原创发布于慕课网 ，转载请注明出处，谢谢合作

举报
为 TA 点赞

若觉得本文不错，就分享一下吧！

评论

作者其他优质文章

正在加载中

倚天杖

手记
篇
粉丝
47
获赞与收藏
187

关注作者，订阅最新文章

阅读免费教程

  • 推荐
  • 评论
  • 收藏
  • 共同学习，写下你的评论
感谢您的支持，我会继续努力的～
扫码打赏，你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫，即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消