Android APP 音视频（03）CameraX预览与MediaCodec编码
说明： 此CameraX预览和编码实操主要针对Android12.0系统。通过CameraX预览获取yuv格式数据，将yuv格式数据通过mediacodec编码输出H264码流（使用ffmpeg播放），存储到sd卡上。
1 CameraX 和 MediaCodec简介
1.1 CameraX简介
CameraX 是一个由 Google 开发的 Android Jetpack 库，旨在简化 Android 应用中的相机操作。它提供了一个一致的 API 界面，使得开发者可以更容易地在应用中集成和使用相机功能。以下是 CameraX 的一些关键特点和优势：
- 简化的 API：CameraX 提供了一个简单且一致的 API，使得开发者可以轻松地访问相机硬件，而无需处理底层的复杂性。
- 兼容性：CameraX 支持从 Android 5.0（API 级别 21）到最新版本的 Android 系统，确保了广泛的设备兼容性。
- 预览和捕获：CameraX 允许开发者轻松地实现相机预览和图像捕获功能。它提供了一个预览界面，用户可以通过它查看相机捕获的实时图像。
- 配置灵活性：CameraX 允许开发者根据需要配置相机的各种参数，如分辨率、帧率、焦距等。
- 异步处理：CameraX 使用异步处理机制，确保相机操作不会阻塞主线程，从而提高应用的响应性和性能。
- 权限管理：CameraX 还帮助开发者管理相机权限，确保应用在需要时能够获得必要的权限。
- 扩展性：CameraX 提供了扩展点，允许开发者根据需要添加额外的功能，如图像处理、视频录制等。
- 集成简单：通过依赖项添加 CameraX 库到项目中，开发者可以快速开始使用 CameraX。
- 文档和社区支持：CameraX 拥有详细的文档和活跃的社区，为开发者提供了丰富的资源和支持。
总的来说，CameraX 是一个强大的工具，可以帮助开发者在 Android 应用中实现高质量的相机功能，同时减少开发工作量和提高应用的稳定性。针对本文的实际需求，这里主要参照了如下文章的内容及代码实现：Android APP Camerax应用（02）预览流程
1.2 MediaCodec简介
MediaCodec 是 Android 平台上的一个 API，用于高效地进行多媒体数据的编码和解码操作。它主要用于处理视频和音频数据，支持各种格式的编解码，如 H.264、H.265、VP8、VP9、AAC 等。以下是 MediaCodec 的一些关键特点和功能：
- 高效处理：MediaCodec 利用硬件加速来处理视频和音频数据，可以显著提高编解码的效率和性能。
- 格式支持：MediaCodec 支持多种编解码格式，包括但不限于 H.264、H.265、VP8、VP9、AAC、HEVC 等。
- 可扩展性：开发者可以根据需要扩展 MediaCodec 的功能，例如添加新的编解码器或支持新的媒体格式。
- 兼容性：MediaCodec 支持从 Android 4.1（Jelly Bean，API 级别 16）到最新版本的 Android 系统。
- 异步操作：MediaCodec 采用异步操作模式，可以在后台线程中处理编解码任务，从而不会阻塞主线程。
- 缓冲管理：MediaCodec 提供了对输入输出缓冲区的管理，允许开发者控制数据流的传输和处理。
- 配置灵活性：开发者可以通过配置 MediaCodec 的参数来调整编解码器的行为，例如设置编码质量、比特率、帧率等。
- 实时处理：MediaCodec 支持实时视频和音频的编解码，适用于需要快速响应的应用，如视频通话、直播等。
- 安全性：MediaCodec 支持加密和解密操作，可以处理受保护的媒体内容。
- 示例和文档：MediaCodec 有丰富的示例代码和文档，帮助开发者快速上手和解决常见问题。
MediaCodec 是 Android 开发者在处理多媒体数据时的重要工具，特别是在需要处理大量视频和音频数据的场景中。通过使用 MediaCodec，开发者可以构建高效、灵活且功能强大的多媒体应用。针对本文的实际需求，这里主要使用了MediaCodec编码相关知识。参照了如下文章的内容及代码实现：Android APP 音视频（02）MediaProjection录屏与MediaCodec编码
2 CameraX预览与MediaCodec编码代码完整解读(android Q)
2.1 关于权限部分的处理
关于权限，需要在AndroidManifest.xml中添加权限，具体如下所示：
<uses-feature
android:name="android.hardware.camera"
android:required="false" />
<uses-permission android:name="android.permission.MANAGE_EXTERNAL_STORAGE"
tools:ignore="ScopedStorage" />
<uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE"
tools:ignore="ScopedStorage" />
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE"
tools:ignore="ScopedStorage" />
<uses-permission android:name="android.permission.CAMERA"/>
关于运行时权限的请求等，这里给出一个工具类参考代码，具体如下所示：
public class Permission {
public static final int REQUEST_MANAGE_EXTERNAL_STORAGE = 1;
//需要申请权限的数组
private static final String[] permissions = {
Manifest.permission.WRITE_EXTERNAL_STORAGE,
Manifest.permission.READ_EXTERNAL_STORAGE,
Manifest.permission.CAMERA
};
//保存真正需要去申请的权限
private static final List<String> permissionList = new ArrayList<>();
public static int RequestCode = 100;
public static void requestManageExternalStoragePermission(Context context, Activity activity) {
if (!Environment.isExternalStorageManager()) {
showManageExternalStorageDialog(activity);
}
}
private static void showManageExternalStorageDialog(Activity activity) {
AlertDialog dialog = new AlertDialog.Builder(activity)
.setTitle("权限请求")
.setMessage("请开启文件访问权限，否则应用将无法正常使用。")
.setNegativeButton("取消", null)
.setPositiveButton("确定", (dialogInterface, i) -> {
Intent intent = new Intent(Settings.ACTION_MANAGE_ALL_FILES_ACCESS_PERMISSION);
activity.startActivityForResult(intent, REQUEST_MANAGE_EXTERNAL_STORAGE);
})
.create();
dialog.show();
}
public static void checkPermissions(Activity activity) {
for (String permission : permissions) {
if (ContextCompat.checkSelfPermission(activity, permission) != PackageManager.PERMISSION_GRANTED) {
permissionList.add(permission);
}
}
if (!permissionList.isEmpty()) {
requestPermission(activity);
}
}
public static void requestPermission(Activity activity) {
ActivityCompat.requestPermissions(activity,permissionList.toArray(new String[0]),RequestCode);
}
}2.2 编码的处理
关于编码部分，主要是MediaCodec的初始化、编码处理部分和文件写入操作，代码如下所示：
public class H264Encoder {
MediaCodec mediaCodec;
int index;
int width;
int height;
public H264Encoder(int width, int height) {
this.width = width;
this.height = height;
}
public void initMediaCodecEncoder() {
try {
mediaCodec = MediaCodec.createEncoderByType("video/avc");
MediaFormat mediaFormat = MediaFormat.createVideoFormat("video/avc", width, height);
mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, width * height);
mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 15);
mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 2); //IDR帧刷新时间
mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT,
MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Flexible);
mediaCodec.configure(mediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
mediaCodec.start();
} catch (IOException e) {
Log.e("TAG",e.toString());
//e.printStackTrace();
}
}
public void startMediaCodecEncoder(byte[] input) {
int inputBufferIndex = mediaCodec.dequeueInputBuffer(10000);
MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
if (inputBufferIndex >= 0) {
ByteBuffer inputBuffer = mediaCodec.getInputBuffer(inputBufferIndex);
if (inputBuffer != null) {
inputBuffer.clear();
inputBuffer.put(input);
}
mediaCodec.queueInputBuffer(inputBufferIndex, 0, input.length, computPts(), 0);
index++;
}
int outputBufferIndex = mediaCodec.dequeueOutputBuffer(bufferInfo,100000);
if (outputBufferIndex >= 0) {
ByteBuffer outputBuffer= mediaCodec.getOutputBuffer(outputBufferIndex);
byte[] data = new byte[bufferInfo.size];
if (outputBuffer != null) {
outputBuffer.get(data);
}
FileUtils.writeBytes(data);
FileUtils.writeContent(data);
mediaCodec.releaseOutputBuffer(outputBufferIndex, false);
}
}
public int computPts() {
return 1000000 / 15 * index;
}
}2.3 CameraX预览与H264编码调用主流程代码参考实现
针对CameraX，添加deps依赖。在项目的 build.gradle 文件中添加 CameraX 库的依赖。build.gradle 中添加deps，具体如下：
dependencies {
...
implementation libs.camera.view
implementation "androidx.camera:camera-core:1.3.4"
// CameraX Camera2 extensions[可选]拓展库可实现人像、HDR、夜间和美颜、滤镜但依赖于OEM
implementation "androidx.camera:camera-camera2:1.3.4"
// CameraX Lifecycle library[可选]避免手动在生命周期释放和销毁数据
implementation "androidx.camera:camera-lifecycle:1.3.4"
// CameraX View class[可选]最佳实践，最好用里面的PreviewView，它会自行判断用SurfaceView还是TextureView来实现
implementation libs.androidx.camera.view.v100alpha23
...
}这里以 H264encoderCameraXActivity 为例，给出一个预览流程与H264编码 代码的参考实现。代码如下所示：
public class H264encoderCameraXActivity extends AppCompatActivity {
private Button mButton;
Context mContext;
private PreviewView previewView;
private ImageAnalysis imageAnalysis;
private ExecutorService executor;
private ListenableFuture<ProcessCameraProvider> cameraProviderFuture;
private boolean isCapturePreview = false;
ProcessCameraProvider mCameraProvider;
Preview mPreview;
H264Encoder h264Encode = null;
@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
EdgeToEdge.enable(this);
mContext = this;
setContentView(R.layout.h264_encode_camerax);
ViewCompat.setOnApplyWindowInsetsListener(findViewById(R.id.main), (v, insets) -> {
Insets systemBars = insets.getInsets(WindowInsetsCompat.Type.systemBars());
v.setPadding(systemBars.left, systemBars.top, systemBars.right, systemBars.bottom);
return insets;
});
Permission.checkPermissions(this);
Permission.requestManageExternalStoragePermission(getApplicationContext(), this);
executor = Executors.newSingleThreadExecutor();
previewView = findViewById(R.id.viewFinder);
mButton = findViewById(R.id.button);
mButton.setOnClickListener(new View.OnClickListener() {
@Override
public void onClick(View view) {
isCapturePreview = !isCapturePreview;
if(isCapturePreview){
mButton.setText(R.string.startCapture);
startCamera();
}else{
mButton.setText(R.string.stopCapture);
stopCamera();
}
}
});
// 初始化 ImageAnalysis
imageAnalysis = new ImageAnalysis.Builder()
.setBackpressureStrategy(ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST)
.build();
imageAnalysis.setAnalyzer(executor, new ImageAnalysis.Analyzer() {
@Override
public void analyze(@NonNull ImageProxy imageProxy) {
if(h264Encode == null){
int width = imageProxy.getWidth();
int height = imageProxy.getHeight();
h264Encode = new H264Encoder(width, height);
h264Encode.initMediaCodecEncoder();
}
Log.d("XXXX","-----------------get Data");
// 处理图像数据
h264Encode.startMediaCodecEncoder(getYUVDataFromImageProxy(imageProxy));
imageProxy.close();
}
});
}
public byte[] getYUVDataFromImageProxy(ImageProxy imageProxy) {
// 获取 ImageProxy 的宽度和高度
int width = imageProxy.getWidth();
int height = imageProxy.getHeight();
// 创建一个足够大的数组来存储 YUV 数据
int yuvSize = width * height * 3 / 2;
byte[] yuvBytes = new byte[yuvSize];
// 从 ImageProxy 获取 Y 平面的数据
ByteBuffer yBuffer = imageProxy.getPlanes()[0].getBuffer();
yBuffer.get(yuvBytes, 0, yBuffer.remaining());
// 计算 U 和 V 值的起始位置
int uvStart = width * height;
// 从 ImageProxy 获取 U 和 V 平面的数据
ByteBuffer uBuffer = imageProxy.getPlanes()[1].getBuffer();
ByteBuffer vBuffer = imageProxy.getPlanes()[2].getBuffer();
// 交错 U 和 V 数据到 yuvBytes 数组中
for (int i = 0; i < (height*width / 2); i+=2) {
int index = uvStart + i;
yuvBytes[index] = uBuffer.get();
yuvBytes[index + 1] = vBuffer.get();
}
return yuvBytes;
}
private void startCamera() {
// 请求 CameraProvider
cameraProviderFuture = ProcessCameraProvider.getInstance(this);
//检查 CameraProvider 可用性，验证它能否在视图创建后成功初始化
cameraProviderFuture.addListener(() -> {
try {
mCameraProvider = cameraProviderFuture.get();
bindPreview(mCameraProvider);
} catch (ExecutionException | InterruptedException e) {
e.printStackTrace();
}
}, ContextCompat.getMainExecutor(this));
}
//选择相机并绑定生命周期和用例
private void bindPreview(@NonNull ProcessCameraProvider cameraProvider) {
mPreview = new Preview.Builder().build();
CameraSelector cameraSelector = new CameraSelector.Builder()
.requireLensFacing(CameraSelector.LENS_FACING_BACK)
.build();
cameraProvider.unbindAll();
cameraProvider.bindToLifecycle(this, cameraSelector, mPreview, imageAnalysis);
mPreview.setSurfaceProvider(previewView.getSurfaceProvider());
}
private void stopCamera() {
if ((mCameraProvider != null) && mCameraProvider.isBound(mPreview)) {
mCameraProvider.unbindAll();
imageAnalysis.clearAnalyzer();
executor.shutdown();
}
}
@Override
protected void onDestroy() {
super.onDestroy();
if (imageAnalysis != null) {
imageAnalysis.clearAnalyzer(); // 清除分析器
}
if (executor != null) {
executor.shutdown(); // 关闭线程池
}
}
}其中布局文件 h264_encode_camerax.xml（可自定义） 内容如下：
<?xml version="1.0" encoding="utf-8"?>
<androidx.constraintlayout.widget.ConstraintLayout xmlns:android="http://schemas.android.com/apk/res/android"
xmlns:app="http://schemas.android.com/apk/res-auto"
xmlns:tools="http://schemas.android.com/tools"
android:layout_width="match_parent"
android:layout_height="match_parent"
android:id="@+id/main"
tools:context=".MainActivity">
<androidx.camera.view.PreviewView
android:id="@+id/viewFinder"
android:layout_width="372dp"
android:layout_height="240dp"
app:layout_constraintBottom_toBottomOf="parent"
app:layout_constraintLeft_toLeftOf="parent"
app:layout_constraintRight_toRightOf="parent"
app:layout_constraintTop_toTopOf="parent"
/>
<Button
android:layout_width="match_parent"
android:layout_height="50dp"
android:text="@string/startCapture"
android:id="@+id/button"
app:layout_constraintTop_toBottomOf="@id/viewFinder"
app:layout_constraintLeft_toLeftOf="parent"
app:layout_constraintRight_toRightOf="parent"
app:layout_constraintHorizontal_bias="0.5"/>
</androidx.constraintlayout.widget.ConstraintLayout>2.4 CameraX预览与MediaCodec编码 demo实现效果
实际运行效果展示如下：
原文地址：https://blog.csdn.net/vviccc/article/details/140645780
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！