- 浏览: 415796 次
- 性别:
- 来自: 深圳
文章分类
最新评论
-
Glogo:
楼主您好,我在试验您的代码的时候发现新开的三个子线程并没有一直 ...
java 高并发 ReentrantLock -- 可重入的锁 -
univasity:
最近发觉也被限速了,投诉一下就好一会~~ 看来明天又要和电信M ...
ADSL上网速度慢 都是帐号限速惹的祸 -
liuyuanhui0301:
java 高并发 ReentrantLock -- 可重入的锁 -
dang_java:
呵.很好的说明文档.
JXTA技术与应用发展 -
helloqidi:
谢谢,学习了
SQL中exists和in的区别
前言
相信现在做Java的人没有人不用NIO来进行IO相关的操作了吧。这个新的 IO类库[虽然现在已经不新了]为我们带来了基于块的IO处理方式,通过预定义的Buffer,我们可以更高效地完成IO操作。在NIO中,我比较关注的 是一个成为mmap的文件映射功能,其特点是可以把文件的一部分或全部映射到内存中,之后我们就可以通过MappedBuffer对内存进行操作,而操作 的结果会由操作系统负责flush到文件中。由于应用程序只是操作内存,所以处理速度比普通的文件操作快很多,在某些应用场景下mmap可以发挥相当大的 作用。本文就来揭秘java的mmap背后的工作原理和实现方法,以及使用java的mmap要注意的一些问题。
1 功能简析
作为 NIO 的一个重要的功能, Mmap 方法为我们提供了将文件的部分或全部映射到内存地址空间的能力,同当这块内存区域被写入数据之后 [dirty] ,操作系统会用一定的算法把这些数据写入到文件中 [ 这一过程 java 并没有提供 API ,后面会提到 ] 。这样我们实际上就获得了间接操纵内存的能力,而且内存与文件之间的同步是由操作系统完成的,不用我们额外操心。也就是说,只要我们把内存数据块规划好 [ 也就是实现一下 C 语言的 SharedMemory 功能 ] ,剩下的事情交给操作系统烦恼就好了。我们既获得了高效的读写操作能力,又解决了数据的持久化问题,多么理想的功能啊!但必须说明的是 mmap 毕竟不是数据库,不能很方便地提供事务功能、类似 sql 语句那样的查找功能,也不具备备份、回滚、迁移的能力,这些都要自己实现。不过这样显然不如放在数据库里放心,所以我们的经验是特别重要的数据还是存数据库,不太重要的、但是又访问量很大、读写操作多且需要持久化功能的数据是最适合使用 mmap 功能的。 使用 Java 的 mmapAPI 代码框架如下所示:
(1)RandomAccessFile raf = new RandomAccessFile (File, "rw");
(2)FileChannel channel = raf.getChannel();
(3)MappedByteBuffer buff = channel.map(FileChannel.MapMode.READ_WRITE,startAddr,SIZE);
(4)buf.put((byte)255);
(5)buf.write(byte[] data)
其中最重要的就是那个 buff ,它是文件在内存中映射的标的物,通过对 buff 的 read/write 我们就可以间接实现对于文件的读写操作,当然写操作是操作系统帮忙完成的。
虽然 mmap 功能是如此的强大,但凡事都有局限, java 的 mmap 瓶颈在哪里?使用 mmap 会遇到哪些问题和限制?要回到这些问题,还是需要先从 mmap 的实现入手。
2 实现原理
研究实现原理的最好方式就是阅读源码,由于 SUN (或许不应该这样叫了?)开放了 JDK 源码,为我们的研究敞开了大门,这里我采用的是 linux 版的 JDK1.6_u13 的源码。
2.1 目标和方法
在查看 Java 源码之前,我首先 google 了一下 mmap ,结果发现 mmap 在 linux 下是一个系统调用:
void *mmap(void *addr, size_t len, int prot, int flag, int filedes, off_t off );
man 了一下发现其功能描述和 JavaAPI 上说的差不多,难道 JDK 底层就是用这个东东实现的?马上动手写个程序然后 STrace 一下看看是不是使用了这个系统调用。这个测试程序应用的就是上面提到的那个程序框架, map 了 1G 的文件,然后每次一个字节地往里面写数据,由于很简单这里就不贴出来了。结果如下:
为简便起见中间的内容就忽略掉了,不过我们可以很清楚地看到 mmap 的操作就是打开 [ 使用 open 系统调用 ] 文件,然后 mmap 之,之后的操作都是对内存地址的直接操作,而操作系统负责把剩下的事情搞定了。于是可以大胆预言, java 的实现是用 JNI 包装了的 mmap() 系统调用。其功能也应该和下图所示的内容保持一致。
|
《 APUE 》中关于 Mmap() 系统调用的示意图 |
在经过上面的分析之后,我们已经有了初步的目标,那就是找到 JavaMmap 的 C 源码,看其使用了哪些系统调用。这样我们就可以更好地了解和控制 JavaMmap 的行为。
2.2 询源之旅
还是以上面这个代码框架为例,注意这里除了 map 文件的动作之外就只有写操作,因为 mmap 的读方法是读内存的,我们已经很清楚,所以这里我们只关心写操作。通过阅读源码,我得到的结论如下:
(1)打开文件和建立 FileChannel 这两步应该只有一个 open() 系统调用。
(2)mmap方法没什么悬念地用到了 mmap 系统调用。但值得注意的是 JDK 只提供了建立文件 / 内存映射的方法,而没有给出解除映射关系的 API 。在 FileChannelImpl.java 中我们可以看到,解除映射的方法 [ 在 Unmapper 中定义 ] 是在创建 MappedByteBuffer 时嵌入到这个类里面的,在 buffer 被 GC 回收之前会调用 Unmapper 的 unmap 方法来解除文件到内存的映射关系。也就是说我们要想解除映射只能先把 buffer 置为 null ,然后祈祷 GC 赶紧起作用,实在等不及还可以用 System.gc() 催促一下 GC 赶快干活,不过后果是会引发 FullGC 。
(3)对于map到内存中的部分的写操作就是对内存地址的写操作,只不过jdk用的是jni。
3 诡异的问题
因为在一般运维监控的时候,我们都会很自然地选择 Top 或者 PS 看一下进程当前实用的物理内存是多少,以防进程内存占用过高导致系统崩溃。虽然 TOP/PS 的结果不是十分精确,但是大部分时候还是够用的。然而在使用了 java 的 mmap 之后我们发现, top 和 ps 命令居然失效了。在我们的程序中 map 了一个 3G 大小的文件 [ 这个文件自此之后一直没有变大 ] ,可是过几天之后 [ 当然程序里面还有一些业务逻辑 ] 却发现 TOP 命令的 RSS 字段居然变成了 19G ,更夸张的是过几天之后 RSS 的值仍然在不断增长,这已经远远超过了内存的实际大小,但此时系统的 IO 并不高,效率没有降低,也根本没用到 swap 。这就是说 TOP/PS 的结果是有问题的,此时的 RSS 已经不能正确标示当前进程所占用的物理内存了,而导致这个问题发生的原因又是什么呢?
为此我查看了一下 /proc/PID/smaps 文件,因为这里面描述了进程地址空间的使用情况,我得到的结果是:
同一个文件被 map 了几次, smap 文件中就有多少条记录项。于是我们可以大胆猜想, TOP/PS 命令是否就是把 smaps 文件的中 RSS 做了一个简单的加法输出出来?后来经我们验证果然是这样的!也就是说文件被统一进程 map 的次数越多, smaps 里面的对应项也就越多,所以 TOP/PS 的 RSS 字段值也就越大。
既然 TOP/PS 的值已经不可靠了,那么应该怎样获取使用了 mmap 的进程当前所占用的物理内存呢? google 了一下排名最靠前的是一个叫做 exmap 的工具,不过那个工具不仅自己要重新编译,还需要重新编译内核 [ 因为可能操作系统禁用了 Module 载入 ] ,最不能接受的是还是图形界面的,还有可能造成性能上的不稳定,这些限制使其在开发机上部署和使用变得不现实。后来用尝试了一些系统调用和shell命令,效果都不太理想。
4 后记
我们略带遗憾地结束了 Java 的 Mmap 之旅,最终也没能找到一个简单而准确的方法来查看当前进程的占用了多少物理内存 [ 前提是不引入影响系统性能的组件和不引入带界面的东西 ] , 如果哪位有更好的办法 [无论是应用那个命令或者写个小程序都可以 ]请通过 email联系我jxuedi@gmail.com ,您的方法如果证明确实有效我会送您一个 45cm 的 QQ 公仔聊表谢意,同时也可以为这篇文章画上一个完满的句号,期待中 ……
发表评论
-
深入JVM锁机制
2011-09-19 01:00 944目前在Java中存在两种 ... -
java 正则表达式 非捕获组(特殊构造)Special Constructs(Non-Capturing)
2011-06-20 23:15 1599针对Java API文档中的正则表达式关于特殊构造(非捕获组) ... -
原创 java的Mmap二三事
2011-06-08 19:46 1158转自 :http://blog.csdn.net/kabini ... -
java 安全沙箱模型详解
2011-04-18 16:29 907起到第一道安全保障作 ... -
非阻塞算法-ReentrantLock代码剖析之ReentrantLock.lock
2011-04-15 13:59 1048ReentrantLock是java.util.concurr ... -
CyclicBarrier与CountDownLatch、栅栏与计数器
2011-04-15 10:39 1432在多线程设计中,我猜常常会遇到线程间相互等待以及某个线程等待1 ... -
Java KeyStore
2011-04-13 17:17 1427简介Java自带的keytool工具是个密钥和证书管理工具。它 ... -
Security Managers and the JavaTM 2 SDK
2011-04-12 13:37 740The original Link : http://do ... -
Something about SecurityManager
2011-04-12 13:33 751The Java Security was made up o ... -
Using the Java SecurityManager with Tomcat
2011-04-12 13:30 963Why use a SecurityManager? The ... -
Java安全管理器(Security Manager)(
2011-04-11 14:54 857转载自: http://blog.sina.com.cn/s/ ... -
Java对象的强、软、弱和虚引用(1)
2011-04-01 08:44 775本文介绍Java对象的强 ... -
Java对象的强引用、软引用、弱引用和虚引用
2011-04-01 08:39 874在JDK1.2以前的版本中, ... -
java 高并发 ReentrantLock -- 可重入的锁
2011-03-30 08:09 2290ReentrantLock -- 可重入的锁 可重入锁指 ... -
线程运行栈信息的获取
2011-03-24 17:23 1273线程运行栈信息的获取 ... -
java序列化——Serializable
2011-03-15 23:17 1033类通过实现 java.io.Serializable 接口 ... -
Java aio(异步网络IO)初探
2011-03-11 16:34 1528按照《Unix网络编程》的 ... -
JAVA NIO 简介
2011-03-11 13:38 10821. 基本 概念 IO 是主存和外部设备 ( 硬盘、终 ... -
[字节码系列]ObjectWeb ASM构建Method Monitor
2011-03-08 18:08 833在前面的篇章中,我们看到Java Instru ... -
深入了解Java ClassLoader、Bytecode 、ASM、cglib
2011-03-08 16:35 831一、Java ClassLoader 1,什 ...
相关推荐
QTableWidget大数据文件显示 文件映射mmap 如果文件很大,读取全部的数据会占用很大内存,推荐文件映射的方法,每次交互只读需要显示的文件数据。文件映射1G左右的文件,大概在1.2s左右可以完成文件映射;再进行...
mmap系统调用并不是完全为了... mmap系统调用使得进程之间通过映射同一个普通文件实现共享内存。普通文件被映射到进程地址空间后,进程可以像访问普通内存一样对文件进行访问,不必再调用read(),write()等操作。
Java SE.mmap
1_Java SE.mmap
Java初级阶段的资料
大数据2009班王敬圆Java SE.mmap
对应地址博客:... (4)文件映射后,可以使用mmap对大文件只读取
一、Java 概述 1. Java体系 2. 常用的DOS命令 3. JDK、JRE、跨平台、Java平台 4. Java代码的编写执行过程 5. 注释 6. 关键字、标识符 7. Java中的数据类型 8. Java中的常量 二、变量和运算符 1. 变量和...
详细介绍mmap 内核态映射到用户态的使用
linux下的内存映射函数mmap详解及示例代码.pdf
Java校招路线.mmap
java内存模型思维导图--内存模型抽象,重排序,final,顺序一致性,锁,volatile,concurrent包的实现
介绍应用使用mmap以及到kernel内部的映射实现过程以及实例代码
关于UNIX上文件映射技术的学习报告。 关于UNIX上文件映射技术的学习报告
linux mmap函数介绍
总结了Java开发过程中常用到的基础工具、实用技能。会一直更新,有了这些工具,开发时会事半功倍。包括字符串、数组、字典、算法、加密工具等常用开发中用得到的东西。
JAVA架构师.mmap
Java SE11.21.mmap