为了账号安全,请及时绑定邮箱和手机立即绑定

面试刷题12:zero copy是怎么回事?

标签:
Java

<BR /> <BR /> <BR /> <BR /> <BR /> <BR /> <BR /> <BR />我是李福春,我在准备面试,今天的问题是:<BR /> <BR />零拷贝是怎么回事?<BR /> <BR />操作系统的空间划分为内核态空间,用户态空间;<BR /> <BR />内核态空间相对操作系统更高的权限和优先级;<BR /> <BR />。用户态空间即普通用户所处空间


零拷贝指的使用类似的java.nio的transforTo方法进行文件复制,文件的拷贝直接从磁盘到内核状态空间,不经过用户状态空间,再写到磁盘,减少了IO的消耗,避免

接下来对面试官可能扩展的问题进行:

#的Java的文件复制方式

java.io流式copy

package org.example.mianshi.filecopy;

import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.nio.file.Files;

/**
 * 说明:传统的文件copy
 * @author carter
 * 创建时间: 2020年03月26日 9:32 上午
 **/

public class JioFileCopyApp {

    public static void main(String[] args) {

        final File d = new File("/data/appenvs/denv.properties");
        final File s = new File("/data/appenvs/env.properties");

        System.out.println("source file content :" + s.exists());
        System.out.println("target file content :" + d.exists());

        System.out.println("source content:");
        try {
            Files.lines(s.toPath()).forEach(System.out::println);
        } catch (IOException e) {
            e.printStackTrace();
        }

        System.out.println("do file copy !");

        copy(s, d);

        System.out.println("target file content :" + d.exists());
        System.out.println("target content:");
        try {
            Files.lines(d.toPath()).forEach(System.out::println);
        } catch (IOException e) {
            e.printStackTrace();
        }

    }

    private static void copy(File s, File d) {

        try (
                final FileInputStream fileInputStream = new FileInputStream(s);

                final FileOutputStream fileOutputStream = new FileOutputStream(d)
        ) {

            byte[] buffer = new byte[1024];
            int length;
            while ((length = fileInputStream.read(buffer)) >  0{
                 fileOutputStream 。写(缓冲区, 0 ,长度); } } catch (IOException e ){             e 。printStackTrace (); } } } ```
            

           

        

    




< BR  />代码可以运行;复印流程如下图:它不是零拷贝的,需要切换用户态空间和内核态,路径比较长,IO消耗和上线文切换的消耗,这是比较低效的副本。< BR  /> < BR /> < BR /> < BR />
 
 
 

![image.png](https://cdn.nlark.com/yuque/0/2020/png/186661/1585187843436-4e886b58-e8d7-45cf-aabf-9e8b8cb1b806.png#align=left&display=inline&height=424&name=image.png&originHeight=424&originWidth=635&size=30531&status=done&style=none&width=635)

<br />
<br />
<br />
<br />


## java.nioChannel式copy


```java
package org.example.mianshi.filecopy;

import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.nio.channels.FileChannel;
import java.nio.file.Files;

/**
 * 说明:传统的文件copy
 * @author carter
 * 创建时间: 2020年03月26日 9:32 上午
 **/

public class JnioFileCopyApp {

    public static void main(String[] args) {

        final File d = new File("/data/appenvs/ndenv.properties");
        final File s = new File("/data/appenvs/env.properties");

        System.out.println(s.getAbsolutePath() + "source file content :" + s.exists());
        System.out.println(d.getAbsolutePath() +"target file content :" + d.exists());

        System.out.println("source content:");
        try {
            Files.lines(s.toPath()).forEach(System.out::println);
        } catch (IOException e) {
            e.printStackTrace();
        }

        System.out.println("do file copy !");

        copy(s, d);

        System.out.println(d.getAbsolutePath() +"target file content :" + d.exists());
        System.out.println("target content:");
        try {
            Files.lines(d.toPath()).forEach(System.out::println);
        } catch (IOException e) {
            e.printStackTrace();
        }

    }

    private static void copy(File s, File d) {

        try (
                final FileChannel sourceFileChannel = new FileInputStream(s).getChannel();

                final FileChannel targetFileChannel = new FileOutputStream(d).getChannel()
        ) {

           for (long count= sourceFileChannel.size();count>0;){

               final long transferTo = sourceFileChannel.transferTo(sourceFileChannel.position(), count, targetFileChannel);

               count-=transferTo;

           }

        } catch (IOException e) {
            e.printStackTrace();
        }

    }

}

<BR />

复制过程如下图:明显,不用,经过用户态空间,是零拷贝,减少了IO的消耗以及切换,比较高效<BR /> <BR /> <BR />

![image.png](https://cdn.nlark.com/yuque/0/2020/png/186661/1585188021368-ce76bf72-a28e-45f4-af6c-498fd7d2584a.png#align=left&display=inline&height=479&name=image .png&originHeight = 479&originWidth = 649&size = 36468&status = done&style = none&width = 649)

< BR /> < BR /> < BR /> < BR />

文件工具类copy

package org.example.mianshi.filecopy;

import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.nio.file.CopyOption;
import java.nio.file.Files;
import java.nio.file.StandardCopyOption;

/**
 * 说明:Files的文件copy
 * @author carter
 * 创建时间: 2020年03月26日 9:32 上午
 **/

public class FilesFileCopyApp {

    public static void main(String[] args) {

        final File d = new File("/data/appenvs/fenv.properties");
        final File s = new File("/data/appenvs/env.properties");

        System.out.println("source file content :" + s.exists());
        System.out.println("target file content :" + d.exists());

        System.out.println("source content:");
        try {
            文件。线(小号。toPath ())。的forEach (系统。出来::的println ); } catch (IOException e ){             e 。printStackTrace (); }         系统。出来。println (“执行文件复制!” );复制( s , d );
           

        



        

        System.out.println("target file content :" + d.exists());
        System.out.println("target content:");
        try {
            Files.lines(d.toPath()).forEach(System.out::println);
        } catch (IOException e) {
            e.printStackTrace();
        }

    }

    private static void copy(File s, File d) {

        try {
            Files.copy(s.toPath(),d.toPath(), StandardCopyOption.COPY_ATTRIBUTES);
        } catch (IOException e) {
            e.printStackTrace();
        }

    }

}

< BR /> < BR />面试官一般喜欢刨根问底,那么来吧贴一下源码: < BR />

 public static Path copy(Path source, Path target, CopyOption... options)
        throws IOException
    {
        FileSystemProvider provider = provider(source);
        if (provider(target) == provider) {
            // same provider
            provider.copy(source, target, options); } else { //不同的提供者             CopyMoveHelper 。copyToForeignTarget (源,目标,选项); } 返回目标; } ```
          
            

        
        
    


< BR  /> < BR /> < BR />底层通过SPI,即的ServiceLoader的方式加载不同文件系统的本地。 < BR /> < BR />分类如下: < BR /> < BR /> < BR /> < BR />
 
  
  
 
 
 

![image.png](https://cdn.nlark.com/yuque/0/2020/png/186661/1585188668400-921368f1-4114-4ac8-933f-83ad21ea0c16.png#align=left&display=inline&height=349&name=image.png&originHeight=349&originWidth=555&size=14568&status=done&style=none&width=555)


<br />
<br />
<br />
<br />我们使用最多的UnixFsProvider,实际上是 直接从 用户态空间copy到用户态空间,使用了本地方法内联加持优化,但是它不是zero-copy, 性能也不会太差。<br />
<br />


# 如何提高io的效率

<br />1, 使用缓存,减少io的操作次数;<br />
<br />2,使用zero-copy,即类似 java.nio的 transferTo方法进行copy;<br />
<br />3, 减少传输过程中不必要的转换,比如编解码,最好直接二进制传输;<br />
<br />


# buffer

<br />
<br />buffer的类层级图如下:

![image.png](https://cdn.nlark.com/yuque/0/2020/png/186661/1585188824740-77f3c5f3-80de-4909-80b2-092d143b42d1.png#align=left&display=inline&height=408&name=image.png&originHeight=408&originWidth=545&size=22063&status=done&style=none&width=545)

<br />
<br />
<br />除了bool其他7个原生类型都有对应的缓冲区 < BR  /> < BR />面试官如果问细节,先说4个属性,能力,限制,位置,标记< BR /> < BR />再描述的ByteBuffer的读写流程。< BR /> < BR / > < BR />然后是DirectBuffer,这个是直接操作堆外内存,比较高效。但是用好比较困难,除非是流媒体的行业,不会问的这么细,直接翻源码好好准备,问一般也是技术专家来问你了。< BR /> < BR /> #小结< BR />本篇回答了什么是零拷贝,然后介绍了Java的体系实现文件复制的3中方式,(扩展的第三方库不算在内); < BR /> <
  
  
 
  
 



  
 然后简要介绍了如何提高io效率的三种方法,以及提高内存利用率的Buffer做了系统级的介绍。<br />
<br />不啰嗦,可以快速通过下图条理化本篇内容,希望对你有所帮助。<br />
<br />



> 原创不易,转载请注明出处! 
点击查看更多内容
TA 点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
  • 推荐
  • 评论
  • 收藏
  • 共同学习,写下你的评论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消