博客
关于我
Netty源码—6.ByteBuf原理一
阅读量:796 次
发布时间:2023-02-15

本文共 1327 字,大约阅读时间需要 4 分钟。

关于ByteBuf的分类与内存管理

1. ByteBuf的核心分类

ByteBuf在Netty中是一个非常重要的内存容器,其分类主要基于内存的使用方式和池化策略。以下是ByteBuf的主要分类:

  • Heap ByteBuf(堆内存)

    • 内存由JVM管理,自动回收,适合频繁分配和释放的场景。
    • 但在socket IO读写时,需要复制数据到内核缓冲区,性能相对较低。
  • Direct ByteBuf(堆外内存)

    • 内存不受JVM管理,需要手动释放,适合高性能IO操作。
    • 没有内存复制的额外开销,适合socket IO场景。
  • Pooled ByteBuf(池化内存)

    • 内存预先分配好一整块,分配时从中取出连续内存块,减少对象创建频率。
    • 适合高负载场景,减少GC压力,但管理复杂。
  • Unpooled ByteBuf(非池化内存)

    • 每次分配都直接申请内存,适合内存需求稳定且频率较低的场景。
    • 内存管理简单,但分配释放频繁时可能影响性能。

2. 内存分配器(ByteBufAllocator)的作用

内存分配器(ByteBufAllocator)是Netty内存管理的核心模块,负责根据需求分配不同类型的ByteBuf。其主要功能包括:

  • buffer():分配一个ByteBuf,默认使用堆内存或直接内存。
  • ioBuffer():优先分配直接内存,适合IO操作。
  • heapBuffer():分配堆内存,适合频繁分配和释放的场景。
  • directBuffer():分配堆外内存,适合性能敏感的IO操作。
  • compositeBuffer():管理多个ByteBuf的组合,提升数据读写效率。

3. ByteBuf的读写操作与内存管理

ByteBuf提供丰富的API操作,包括读写、标记、保留、复制等功能。其核心结构包括三个指针和内存容量:

  • readerIndex、writerIndex:分别表示当前可读写的位置。
  • capacity:内存总容量,决定ByteBuf的最大写能力。
  • referenceCount:引用计数,防止内存泄露。
4. 内存管理的关键点
  • 引用计数管理

    • 创建ByteBuf默认引用计数为1。
    • 调用retain()增加引用计数,release()减少。
    • 引用计数为0时,释放底层内存。
  • 内存分配策略

    • Pooled ByteBuf循环使用已有内存,减少新建对象频率。
    • Unpooled ByteBuf每次分配都直接申请内存,适合内存需求稳定。
  • 内存回收机制

    • Heap ByteBuf依赖JVM的垃圾回收机制。
    • Direct ByteBuf需要手动释放,避免内存泄露。

5. 性能优化与最佳实践

  • IO读写选择

    • Direct ByteBuf用于socket IO,减少内存复制。
    • Heap ByteBuf用于数据解码等场景,利用JVM内存管理。
  • 内存分配策略

    • IO线程优先使用Direct ByteBuf,后台任务使用Heap ByteBuf。
    • 合理配置内存池,避免频繁GC。
  • 内存管理规范

    • 避免不必要的内存保留,及时释放无用资源。
    • 定期检查引用计数,防止内存泄露。

通过合理配置ByteBuf分类和内存管理策略,可以显著提升Netty应用的性能和稳定性。

转载地址:http://svcfk.baihongyu.com/

你可能感兴趣的文章
NIFI1.21.0_Mysql到Mysql增量CDC同步中_日期类型_以及null数据同步处理补充---大数据之Nifi工作笔记0057
查看>>
NIFI1.21.0_Mysql到Mysql增量CDC同步中_补充_更新时如果目标表中不存在记录就改为插入数据_Postgresql_Hbase也适用---大数据之Nifi工作笔记0059
查看>>
NIFI1.21.0_NIFI和hadoop蹦了_200G集群磁盘又满了_Jps看不到进程了_Unable to write in /tmp. Aborting----大数据之Nifi工作笔记0052
查看>>
NIFI1.21.0最新版本安装_连接phoenix_单机版_Https登录_什么都没改换了最新版本的NIFI可以连接了_气人_实现插入数据到Hbase_实际操作---大数据之Nifi工作笔记0050
查看>>
NIFI1.21.0通过Postgresql11的CDC逻辑复制槽实现_指定表多表增量同步_增删改数据分发及删除数据实时同步_通过分页解决变更记录过大问题_02----大数据之Nifi工作笔记0054
查看>>
NIFI1.21.0通过Postgresql11的CDC逻辑复制槽实现_指定表多表增量同步_插入修改删除增量数据实时同步_通过分页解决变更记录过大问题_01----大数据之Nifi工作笔记0053
查看>>
NIFI1.21.0通过Postgresql11的CDC逻辑复制槽实现_指定表或全表增量同步_实现指定整库同步_或指定数据表同步配置_04---大数据之Nifi工作笔记0056
查看>>
NIFI1.23.2_最新版_性能优化通用_技巧积累_使用NIFI表达式过滤表_随时更新---大数据之Nifi工作笔记0063
查看>>
NIFI从MySql中增量同步数据_通过Mysql的binlog功能_实时同步mysql数据_根据binlog实现数据实时delete同步_实际操作04---大数据之Nifi工作笔记0043
查看>>
NIFI从MySql中增量同步数据_通过Mysql的binlog功能_实时同步mysql数据_配置binlog_使用处理器抓取binlog数据_实际操作01---大数据之Nifi工作笔记0040
查看>>
NIFI从MySql中增量同步数据_通过Mysql的binlog功能_实时同步mysql数据_配置数据路由_实现数据插入数据到目标数据库_实际操作03---大数据之Nifi工作笔记0042
查看>>
NIFI从MySql中增量同步数据_通过Mysql的binlog功能_实时同步mysql数据_配置数据路由_生成插入Sql语句_实际操作02---大数据之Nifi工作笔记0041
查看>>
NIFI从MySql中离线读取数据再导入到MySql中_03_来吧用NIFI实现_数据分页获取功能---大数据之Nifi工作笔记0038
查看>>
NIFI从MySql中离线读取数据再导入到MySql中_不带分页处理_01_QueryDatabaseTable获取数据_原0036---大数据之Nifi工作笔记0064
查看>>
NIFI从MySql中离线读取数据再导入到MySql中_无分页功能_02_转换数据_分割数据_提取JSON数据_替换拼接SQL_添加分页---大数据之Nifi工作笔记0037
查看>>
NIFI从PostGresql中离线读取数据再导入到MySql中_带有数据分页获取功能_不带分页不能用_NIFI资料太少了---大数据之Nifi工作笔记0039
查看>>
nifi使用过程-常见问题-以及入门总结---大数据之Nifi工作笔记0012
查看>>
NIFI分页获取Mysql数据_导入到Hbase中_并可通过phoenix客户端查询_含金量很高的一篇_搞了好久_实际操作05---大数据之Nifi工作笔记0045
查看>>
NIFI分页获取Postgresql数据到Hbase中_实际操作---大数据之Nifi工作笔记0049
查看>>
NIFI同步MySql数据_到SqlServer_错误_驱动程序无法通过使用安全套接字层(SSL)加密与SQL Server_Navicat连接SqlServer---大数据之Nifi工作笔记0047
查看>>