java直接内存
Java中的内存从广义上可以划分为两个部分,一部分是受JVM管理
的堆内存
,另一部分则是不受JVM管理的堆外内存
,也称为直接内存
。直接内存由操作系统来管理,这部分内存的应用可以减少垃圾收集对应用程序的影响。
直接内存概述
直接内存不是虚拟机运行时数据区的一部分,也不是Java虚拟机规范中定义的内存区域。直接内存是在Java堆外的、直接向操作系统申请的内存区间。直接内存来源于NIO(Non-Blocking IO)
,可以通过ByteBuffer
类操作。ByteBuffer类调用allocateDirect()
方法可以申请直接内存,方法内部创建了一个DirectByteBuffer
对象,DirectByteBuffer
对象存储直接内存的起始地址和大小,据此就可以操作直接内存。直接内存和堆内存之间的关系如图所示。
查看直接内存的占用和释放
import java.nio.ByteBuffer;
import java.util.Scanner;public class BufferTest {private static final int BUFFER = 1024 * 1024 * 1024;//1GBpublic static void main(String[] args) {//直接分配本地内存空间ByteBuffer byteBuffer = ByteBuffer.allocateDirect(BUFFER);System.out.println("直接内存分配完毕,请求指示!");Scanner scanner = new Scanner(System.in);scanner.next();System.out.println("直接内存开始释放!");byteBuffer = null;System.gc();scanner.next();}
}
直接分配后的本地内存空间如图所示:
释放内存后的本地内存空间如图所示:
通常,访问直接内存的速度会优于Java堆,读写性能更高。因此出于性能考虑,读写频繁的场合可能会考虑使用直接内存。Java的NIO库允许Java程序使用直接内存,用于数据缓冲区。
通过前面的案例我们可以把Java进程占用的内存理解为两部分,分别是JVM内存和直接内存。前面我们讲解方法区的时候,不同版本JDK中方法区的实现是不一样的,JDK 7使用永久代实现方法区,永久代中的数据还是使用JVM内存存储数据
。JDK 8使用元空间实现方法区,元空间中的数据放在了本地内存当中,直接内存和元空间一样都属于堆外内存
。
直接内存的优势
文件读写必然涉及磁盘的读写,但是Java本身不具备磁盘读写的能力,因此借助操作系统提供的方法,在Java中表现出来的形式就是Java中的本地方法接口调用本地方法库。普通IO读取一份物理磁盘的文件到内存中,需要下面两步。
(1)把磁盘文件中的数据读取到系统内存中。
(2)把系统内存中的数据读取到JVM堆内存中。
如图所示,为了使得数据可以在系统内存和JVM堆内存之间相互复制,需要在系统内存和JVM堆内存都复制一份磁盘文件。这样做不仅浪费空间,而且传输效率低下。
当使用NIO时,如图所示。操作系统划出一块直接缓冲区可以被Java代码直接访问。这样当读取文件的时候步骤如下。
(1)物理磁盘读取文件到直接内存。
(2)JVM通过NIO库直接访问数据。
以上步骤便省略了系统内存和JVM内存直接互相复制的过程,不仅节省了内存空间,也提高了数据传输效率。可以这样理解:直接内存是在系统内存和Java堆内存之间开辟出的一块共享区域,供操作系统和Java代码访问。
IO和NIO的性能比较
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.nio.ByteBuffer;
import java.nio.channels.FileChannel;public class BufferTest1 {private static final int _100Mb = 1024 * 1024 * 100;public static void main(String[] args) {String userHome = System.getProperty("user.home");long sum = 0;String src = userHome + "/Downloads/JDK/jdk8.tar.gz";for (int i = 0; i < 3; i++) {String dest = userHome + "/Downloads/JDK/jdk8.tar.gz" + i;//sum += io(src,dest);//1515sum += directBuffer(src, dest);//1022System.out.println("总花费的时间为:" + sum);}}private static long directBuffer(String src, String dest) {long start = System.currentTimeMillis();FileChannel inChannel = null;FileChannel outChannel = null;try {inChannel = new FileInputStream(src).getChannel();outChannel = new FileOutputStream(dest).getChannel();ByteBuffer byteBuffer = ByteBuffer.allocateDirect(_100Mb);while (inChannel.read(byteBuffer) != -1) {byteBuffer.flip();//修改为读数据模式outChannel.write(byteBuffer);byteBuffer.clear();//清空}} catch (IOException e) {e.printStackTrace();} finally {if (inChannel != null) {try {inChannel.close();} catch (IOException e) {e.printStackTrace();}}if (outChannel != null) {try {outChannel.close();} catch (IOException e) {e.printStackTrace();}}}long end = System.currentTimeMillis();return end - start;}private static long io(String src, String dest) {long start = System.currentTimeMillis();FileInputStream fis = null;FileOutputStream fos = null;try {fis = new FileInputStream(src);fos = new FileOutputStream(dest);byte[] buffer = new byte[_100Mb];while (true) {int len = fis.read(buffer);if (len == -1)break;fos.write(buffer, 0, len);}} catch (IOException e) {e.printStackTrace();} finally {if (fis != null) {try {fis.close();} catch (IOException e) {e.printStackTrace();}}if (fos != null) {try {fos.close();} catch (IOException e) {e.printStackTrace();}}}long end = System.currentTimeMillis();return end - start;}
}
直接内存异常
直接内存也可能导致OutOfMemoryError异常。由于直接内存在Java堆外,因此它的大小不会直接受限于-Xmx
指定的最大堆大小,但是系统内存也是有限的,Java堆和直接内存的总和依然受限于操作系统能给出的最大内存。接下来通过一个案例演示直接内存的内存溢出现象,如代码清单所示。
import sun.misc.VM;import java.nio.ByteBuffer;
import java.util.ArrayList;/*** 直接内存内存的OOM: OutOfMemoryError:Direct buffer memory** -XX:MaxDirectMemorySize 设置最大直接内存* -Xmx60m 设置最大堆内存* 默认 MaxDirectMemorySize 等于 Xmx*/
public class BufferTest2 {private static final int BUFFER = 1024 * 1024 * 20;//20MBpublic static void main(String[] args) {// 获取Java虚拟机中的Runtime实例Runtime runtime = Runtime.getRuntime();// 获取JVM的最大内存long maxMemory = runtime.maxMemory();System.out.println("Max Memory: " + maxMemory + " bytes");long maxDirectMemory = VM.maxDirectMemory();System.out.println("Max Direct Memory: " + maxDirectMemory + " bytes");ArrayList<ByteBuffer> list = new ArrayList<>();int count = 0;try {while (true) {ByteBuffer byteBuffer = ByteBuffer.allocateDirect(BUFFER);list.add(byteBuffer);count++;try {Thread.sleep(100);} catch (InterruptedException e) {e.printStackTrace();}}} finally {System.out.println(count);}}
}
直接内存由于不受JVM的内存管理,所以需要开发人员自己来管理,以防内存溢出,通常有两种方式。
(1)当ByteBuffer对象不再使用的时候置为null,调用System.gc()方法告诉JVM可以回收ByteBuffer对象,最终系统调用freemermory()方法释放内存。System.gc()会引起一次Full GC,通常比较耗时,影响程序执行。
(2)调用Unsafe类中的freemermory()方法释放内存。可以通过参数-XX:MaxDirectMemorySize来指定直接内存的最大值。若不设置-XX:MaxDirectMemorySize参数,其默认值与-Xmx
参数配置的堆内存的最大值一致。