NDK 开发实战 - 封装 java 层 sdk 模型dk 模型

关于 Ndk 开发，网上的资料比较少，这方面的书籍也不多。因为其涉及的知识非常广，时常有哥们问我，东西那么多到底要学到什么程度呢？到底应该怎么学？这期我给大家来做一个简单回答，首先单纯站在 Android 系统的角度来说，我们可以细分为 Java 层和 Native(c/c++) 层。站在 Android 开发的角度来说，我们又可以细分为精通 Android 开发和精通 c/c++ 开发。当然笔者之前在长沙从事 Android 开发，公司是不存在 c/c++ 工程师的，也就是说所有的开发工作调用 Android Framework 层的 Api 就都能实现。

来到深圳做音视频项目，公司有专门的引擎部门，也就是说有专门的 c/c++ 音视频工程师。为了能够让 Android 和 c/c++ 打通，因此就多出来了第三类开发者，熟悉 Android 开发和熟悉 c/c++ 开发，也就是我们通常所说的 Ndk 开发，因此一个合格的 Android 开发者必须要熟悉 c/c++，我们开发个三年五载想要提升，也需要尝试着去熟悉 c/c++。

我们可能又会想，精通一门开发语言至少需要个三年五载，Java 都够我们折腾的了，哪还有时间去学习 c/c++ ，但有些招聘需求上又明确要求开发者需要熟悉 c/c++，比如 Android 音视频开发和 Android 智能识别开发等。那如果我们想要从事 Ndk 开发，得怎么去学又得学哪些东西？这里我简单的罗列一个小清单：

• 熟悉 c/c++ 基础语法

• 熟悉 jni 基础知识

• 熟悉 c/c++ 进阶知识

• 熟悉 linux 内核

• 熟悉 shell 脚本

• 熟悉 cmake 语法

上面的内容看似有点多，但当我们真正下定决心去学时，其实并不难也比较简单。注意上面写的是熟悉但并不是精通，我们得先熟悉然后再去精通，怎么才是算熟悉呢？首先是读，我们能够看懂 Android Native 层的源码，读 native 层源码有助于我们日常的开发和性能优化。其次是我们还要能够写，那怎么写如何写？其实套路也就那么多，这篇文章我们主要来学习如何封装 sdk 给 Java 调用者，这里我以之前所学的 OpenCv 为例来写。

1.封装 Java 层 Mat

在《图形图像处理 - 手写 QQ 说说图片处理效果》 一文中处理油画效果是这么写的：

    /**
     * 实现图像油画效果
     *
     * @param bitmap 原图片
     * @return 油画效果图像
     */
    public static final native Bitmap oilPainting(Bitmap bitmap);    // Native 层代码
    extern "C"
    JNIEXPORT jobject JNICALL    Java_com_darren_ndk_day70_NDKBitmapUtils_oilPainting(JNIEnv *env, jclass type, jobject bitmap) {    // 油画基于直方统计
    // 1. 每个点需要分成 n*n 小块
    // 2. 统计灰度等级
    // 3. 选择灰度等级中最多的值
    // 4. 找到最大等级的像素取平均值
  
    // 省略代码部分 ......
    return bitmap;
}

我们不妨来思考一下，在真正开发的过程中，我们基本都是按需定制，简单一点说就是你需要什么功能，我就增加代码封装提供功能。这在 Java 层开发时倒是无所谓，改改代码直接调一下就可以了，但 Ndk 开发所涉及的就不再只是 Java 了，改了代码必须重新编译 so 库。倘若需求稍微有变动，我们需要改 Native 层代码，然后重新编译 so 库，再联调再测试，再改再联调再测试。

相信大家都能听明白我想表达的意思，因此我们在提供 sdk 时一定要考虑周到，尽量不要反复的去改 c/c++ 代码，尽量不要反复编译联调 so 库。接下来我们来思考一下，如何才能有效的避免我以上所说的这些问题，假设刚开始需要提供一个做掩摸操作的功能，那代码可能会是如下这样：

    /**
     * 掩模操作处理
     *
     * @param bitmap 原图
     * @return 掩模效果图
     */
    public native static Bitmap mask(Bitmap bitmap);    // native 代码
    extern "C"
    JNIEXPORT jobject JNICALL    Java_com_darren_ndk_day72_MainActivity_mask(JNIEnv *env, jclass type, jobject bitmap) {      // 1. bitmap -> mat
      Mat src;
      cv_helper::bitmap2mat(env, bitmap, src);      // bgra -> bgr 否则 filter2D 会报错
      cvtColor(src, src, COLOR_BGRA2BGR);      // 2. 自定义卷积核
      Mat kernel(3, 3, CV_32FC1);
      kernel.at<float>(0, 0) = 0;
      kernel.at<float>(0, 1) = -1;
      kernel.at<float>(0, 2) = 0;
      kernel.at<float>(1, 0) = -1;
      kernel.at<float>(1, 1) = 5;
      kernel.at<float>(1, 2) = -1;
      kernel.at<float>(2, 0) = 0;
      kernel.at<float>(2, 1) = -1;
      kernel.at<float>(2, 2) = 0;      // 3. 卷积运算
      Mat dst;
      filter2D(src, dst, src.depth(), kernel);      // 4. mat -> bitmap
      cv_helper::mat2bitmap(env, dst, bitmap);      return bitmap;
    }

假设现在又需要提供一个模糊操作，那么我们可能又得新提供 native 方法，得重新编译调试 so ，代码可能会如下：

    /**
     * 模糊处理
     *
     * @param bitmap 原图
     * @param size   模糊半径，半径越大越模糊
     * @return 模糊效果图
     */
    public native static Bitmap blur(Bitmap bitmap, int size);    // native 层代码
    extern "C"
    JNIEXPORT jobject JNICALL    Java_com_darren_ndk_day72_MainActivity_blur(JNIEnv *env, jclass type, jobject bitmap, jint size) {        // 1. bitmap -> mat
        Mat src;
        cv_helper::bitmap2mat(env, bitmap, src);        // bgra -> bgr 否则 filter2D 会报错
        cvtColor(src, src, COLOR_BGRA2BGR);        // 2. 模糊卷积核
        Mat kernel = Mat::ones(Size(size, size), CV_32FC1) / (size * size);        // 3. 卷积运算
        Mat dst;
        filter2D(src, dst, src.depth(), kernel);        // 4. mat -> bitmap
        cv_helper::mat2bitmap(env, dst, bitmap);        return bitmap;
    }

倘若后面又出现了一个其他类似的功能，那么我又得新提供 native 方法，重新编译调试 so ，就出现了我上面所说的，改 Native 层代码，重新编译 so 库，再联调再测试，再改再联调再测试。因此接下来我们需要将这些代码拆分出来封装，我们在 Java 层创建一个 Mat.java 对象用来对应 Native 层的 Mat.cpp 对象，这种思想有点类似于系统的 Bitmap 对象。关于这部分知识大家可以参考这篇文章《JNI 基础 - Android 共享内存的序列化过程》

public class Mat {    /**
     * Native 创建 Mat 的首地址
     */
    public final long mNativePtr;    private int rows;    private int cols;    private CVType type;    public Mat(int rows, int cols, CVType type) {        this.cols = cols;        this.rows = rows;        this.type = type;
        mNativePtr = nMatIII(rows, cols, type.value);
    }    public Mat() {
        mNativePtr = nMat();
    }    /**
     * 创建 Native Mat.cpp 对象
     *
     * @return Mat.cpp 对象头指针
     */
    private native long nMat();    /**
     * 创建 Native Mat.cpp 对象
     *
     * @param rows 高
     * @param cols 宽
     * @param type 类型
     * @return Mat.cpp 对象头指针
     */
    private native long nMatIII(int rows, int cols, int type);    /**
     * 这个方法提供给 Java 调用者
     *
     * @param row
     * @param col
     * @param value
     */
    public void put(int row, int col, int value) {        if (type == CVType.CV_32FC1) {            throw new UnsupportedOperationException("Provider value nonsupport and please check CVType.");
        }

        nPutI(mNativePtr, row, col, value);
    }    /**
     * 这个方法提供给 Java 调用者
     *
     * @param row
     * @param col
     * @param value
     */
    public void put(int row, int col, float value) {        if (type != CVType.CV_32FC1) {            throw new UnsupportedOperationException("Provider value nonsupport and please check CVType.");
        }

        nPutF(mNativePtr, row, col, value);
    }    @Override
    protected void finalize() throws Throwable {        super.finalize();        // GC 回收该对象时 delete Mat.cpp 对象
        nDelete(mNativePtr);
    }    public int getCols() {        return cols;
    }    public int getRows() {        return rows;
    }    public CVType getType() {        return type;
    }    public void release() {
        nRelease(mNativePtr);
    }    private native void nDelete(long nativePtr);    private native void nRelease(long nativePtr);    private native void nPutI(long nativePtr, int row, int col, int value);    private native void nPutF(long nativePtr, int row, int col, float value);
}

2. JNI 异常处理

关于 jni 的异常处理这是个技术活，之前的文章也有提到，这里还是要再做一些强调，我们提供的 sdk 代码尽量不要无缘无故的崩掉，适当的地方需要抛 Java 异常。因为 native 崩溃不像 Java 崩溃那样会有 log 日志打印，如果用户只看到闪退却看不到崩溃信息，用户可能根本无法进行调试修改。因此我们要学会抛 java 异常。

void cv_helper::bitmap2mat(JNIEnv *env, jobject &bitmap, cv::Mat &dst) {    try {
        AndroidBitmapInfo bitmapInfo;
        CV_Assert(AndroidBitmap_getInfo(env, bitmap, &bitmapInfo) >= 0);        void *pixels;
        CV_Assert(AndroidBitmap_lockPixels(env, bitmap, &pixels) >= 0);
        CV_Assert(pixels);        if (bitmapInfo.format == ANDROID_BITMAP_FORMAT_RGBA_8888) {            //  ANDROID_BITMAP_FORMAT_RGBA_8888 -> CV_8UC4
            dst.create(bitmapInfo.height, bitmapInfo.width, CV_8UC4);
            dst.data = reinterpret_cast<uchar *>(pixels);
        } else if (bitmapInfo.format == ANDROID_BITMAP_FORMAT_RGB_565) {
            dst.create(bitmapInfo.height, bitmapInfo.width, CV_8UC2);
            dst.data = reinterpret_cast<uchar *>(pixels);
        } else {
            cv::Exception exception;
            exception.msg = "Bitmap only support RGBA_8888 and RGB_565";            throw exception;
        }

        AndroidBitmap_unlockPixels(env, bitmap);
    } catch (const cv::Exception exception) {
        jclass ej = env->FindClass("java/lang/Exception");
        env->ThrowNew(ej, exception.what());
    } catch (...) {
        jclass ej = env->FindClass("java/lang/Exception");
        env->ThrowNew(ej, "Unknown exception in JNI code {mat2bitmap}");
    }
}

测试代码

Bitmap srcBitmap = BitmapFactory.decodeResource(getResources(), R.mipmap.lbb);
Bitmap dstBitmap = Bitmap.createBitmap(srcBitmap.getWidth(), srcBitmap.getHeight(), Bitmap.Config.ALPHA_8);// 模糊卷积核int size = 9;
Mat kernel = new Mat(size, size, CVType.CV_32FC1);float value = 1f / (size * size);for (int rows = 0; rows < size; ++rows) {  for (int cols = 0; cols < size; ++cols) {
    kernel.put(rows, cols, value);
  }
}

Mat srcMat = new Mat();
Utils.bitmap2mat(srcBitmap, srcMat);
Mat dstMat = new Mat();// 卷积运算Imgproc.filter2D(srcMat, dstMat, kernel);
Utils.mat2Bitmap(dstMat, dstBitmap);

最后大家可以尝试着去了解了解腾讯的开源框架 MMKV，可以去学学其代码的内部实现，既然我们学了 NDK 肯定需要时常拿出来溜溜。我们也可以对其做一些优化，比如支持写入对象，写入共享内存等等。

作者：红橙Darren
链接：https://www.jianshu.com/p/7024fc46f68c