1. Play video (TextureView). 基于MediaCodec ,MediaExtractor, TextureView封装的播放器,可以帮助理解这几个api.
2. Continuous capture. 基于Camera,GLES20,SurfaceTexture,SurfaceView,MediaCodec实现的建议的视频录制器.
3. Double decode. 类似于Play video示例,只是解码两路视频渲染到TextureView.
4. Hardware scaler exerciser. 演示OpenGL进行画面缩放
5. Live camera (TextureView). 演示Camera,SurfaceTexture以及TextureView使用
6. Multi-surface test. 演示三路视频渲染
7. Play video (SurfaceView). 类似于Play video (TextureView),只是输出从TextureView变成了SurfaceView.
8. Record GL app. 基于FBO同时将摄像头采集数据输出到编码器和屏幕,FBO是实时美颜的关键技术.
9. Record Screen using MediaProjectionManager.基于MediaProjectionManager将屏幕内容录制成文件.之前我们的输入都是摄像头,Android5.0开始提供了MediaProjectionManager,可以对屏幕内容进行采集.
10. Scheduled swap. 了解一个新伙伴Choreographer
11. Show + capture camera. 摄像头同时输出到文件和屏幕(与"RecordFBOActivity"输出对象变成了GLSurfaceView)
12. Simple Canvas in TextureView. 一般的我们把基于OpenGL的渲染称为"硬"渲染,基于Canvas的称为"软"渲染,这个示例展示了如何通过Canvas绘制到TextureView
13. Simple GL in TextureView. 可以理解为实现了GLThread的TextureView.
14. Texture from Camera. Camera->SurfaceTexture->SurfaceView
15. Color bars. Canvas绘制示例
16. OpenGL ES Info. 获取OpenGL 版本等相关信息
17. glTexImage2D speed test. 纹理上传示例,从图片装换为OpenGL纹理,又要认识一个新伙伴: glTexImage2D().
18. glReadPixels speed test. OpenGL纹转换为图片(RGBA/YUV),再认识一个新伙伴 glReadPixels()

上面的demo主要是图形相关的,编解码器观光一下官方文档:developer.android.google.cn/reference/a… 已经不能再明白了.

此外,想弄明白MediaCodec,还需要了解一个数据结构ByteBuffer(移步官方文档了解一下? developer.android.google.cn/reference/j…)

如果学习完这些,那么恭喜你,你已经对音视频相关知识有了一些了解了.接下来你可以试着去接触一下著名的android-gpuimage,以及了解OpenGL相关的FBO,PBO,Texture等,可以处理视频编辑,简单实现美颜等滤镜了. 推荐一些OpenGL相关文章:

1. 第一个OpenGL程序:blog.csdn.net/fuyajun01/a…
2. 计算机图形学网络课程:netclass.csu.edu.cn/NCourse/hep…
3. LearnOpenGl-CN:learnopengl-cn.readthedocs.io/zh/latest/0…
4. opengl-tutorial:learnopengl-cn.readthedocs.io/zh/latest/0…
5. OpenGl Pixel Buffer Object(PBO):www.songho.ca/opengl/gl_p…
6. OpenGL深入探索——缓冲区对象（*BO）:blog.csdn.net/panda1234le…
7. OpenGL深入探索——像素缓冲区对象 （PBO）:blog.csdn.net/panda1234le…
8. Android 关于美颜/滤镜 利用PBO从OpenGL录制视频:www.jianshu.com/p/3bc4db687…
9. EGL API Notes
10. Learn OpenGL ES:www.learnopengles.com/android-les…
11. OpenGL Transformation:www.songho.ca/opengl/gl_t…
12. glsl_tutorial:zach.in.tu-clausthal.de/teaching/cg…
13. GLSL ES（OpenGL ES着色器语言）_WebGL笔记9:www.ayqy.net/blog/glsl-e…
14. OpenGL 纹理坐标 和 顶点坐标映射关系 详解:blog.csdn.net/xipiaoyouzi…
15. www.khronos.org/registry/EG… OpenGL中FrameBuffer使用:blog.csdn.net/wl_soft50/a…

1.4 高级版本

进阶版本中处理的都是Java层数据,有时候我们要编码mp3,opus等,手机硬件编码器(就是MediaCodec)不支持,我们需要引入编解码器库(lame,opus),这些库都是c/cpp实现,我们要经过jni封装,但是jni是有消耗的,那么我们可以不可以直接在c/cpp层实现采集,编码,播放呢? 当然是YES,下面我们再来了解一下jni层的API:

1. 图像采集: 图像采集可以使用Java Camera,通过给Camera Surface,Surface再给jni的MediaCodec,也可以试试<camera/NdkCameraManager.h>
2. 声音采集: 了解一下<SLES/OpenSLES_Android.h> , <SLES/OpenSLES.h>, opensl的文档太粗陋,给你一份Android官方demo:github.com/android/ndk…
3. 编解码: 了解一下<media/NdkMediaCodec.h>
4. 封装(复用)器: <media/NdkMediaMuxer.h>
5. 解封装(解复用)器: <media/NdkMediaExtractor.h>
6. 图像渲染: ndk-bundle/toolchains/llvm/prebuilt/darwin-x86_64/sysroot/usr/include下的EGL, GLES, GLES2, GLES3等

如果了解到这,那么恭喜你,可以继续学习一些其他库了:

1. lamemp3:Android只支持mp3解码,不支持mp3编码,幸好有lame:官网, 使用示例 文章介绍: 带你写一个Mp文件解析器-Mp3文件结构全解析(一),带你写一个Mp文件解析器-Mp3文件结构全解析(二)
2. opus: 实时语音场景的首选是opus,但是Android还是只能解码不能编码,索性移步:官网,文章介绍Opus从入门到精通(一):简介,Opus从入门到精通(二):编解码器使用, Opus从入门到精通(三)手撸一个Opus编码程序,Opus从入门到精通(四)Opus解码程序实现,Opus从入门到精通(五)OggOpus封装器全解析,学习到这应该不再需要demo了,自己动手来一个吧
3. aac: Android支持了aac硬件编解码,但是出于编码效率以及低端手机考虑,了解一下FAAC
4. x264: Android默认支持了h264的编解码,但也是出于编码效率及低端手机考虑,了解一下x264
5. ffmpeg: 现在终于可以了解下传说中的ffmpeg了,音视频界的万能神器.

1.5 终极阶段

现在你可以更深入的了解声音的本质,特性,图像的压缩原理等等,去理解时域与频域,去学习charlesliuyx.github.io/2018/02/18/…,这个时候可以把高等数学和线性代数翻出来了.

2.媒体部分

传输部分我们音视频领域主要用到的应用层协议:

• http
• rtmp
• rtc

2.1基于http的音视频传输

Android上面的系统播放器MediaPlayer默认支持http的,可以传入一个远程的mp4地址给MediaPlayer播放.但是这种只能实现点播,如果要在http上实现直播的话,了解一下HLS以及HttpFLV:www.jianshu.com/p/32417d8ee…

2.2 rtmp

rtmp是adobe的产物,主要用于直播场景,主播一路上行,观众多路下行

• 深入理解rtmp(一)之开发环境搭建
• 深入理解rtmp(二)之C++脚手架搭建
• 深入理解rtmp(三)之手把手实现握手协议
• 深入理解rtmp(四)之协议实现分析

具体资源,文章里都有介绍了

2.3 rtc

rtmp实现了直播,但要互动直播就需要rtc了.现在好多都是基于webrtc的二次开发.

• How to get started with WebRTC and iOS without wasting 10 hours of your life:ninjanetic.com/how-to-get-…
• WebRTC 1.0: Real-time Communication Between Browsers:www.w3.org/TR/webrtc/#…
• Android之WebRTC介绍:www.tuicool.com/articles/Vv…
• SDP for the WebRTC:tools.ietf.org/id/draft-na…
• WebRTC 1.0: Real-time Communication Between Browsers:w3c.github.io/webrtc-pc/

3.资源整理

3.1 摄像头及录制相关

• github.com/aserbao/And… : 自定义Android相机(仿抖音)，其中功能包括视频人脸识别贴纸，分段录制，回滚删除，倒计时录制，视频裁剪，视频帧处理，获取视频第一帧，关键帧，视频旋转，滤镜添加，水印添加，Gif合成到视频，文字转视频，图片转视频，音视频合成，音频变声处理，SoundTouch，Fmod音频处理。
• github.com/CJT2325/Cam… : 仿微信拍照Android控件（轻触拍照，长按摄像）
• github.com/wuhaoyu1990… : Real-time Filter Camera&VideoRecorder And ImageEditor With Face Beauty For Android—包含美颜等40余种实时滤镜相机，可拍照、录像、图片修改,吸取了gpuimage很多滤镜
• github.com/android/cam… : 谷歌官方demo

3.2 webrtc

1. Pion WebRtc(github.com/pion/webrtc ):Pure Go implementation of the WebRTC API
2. WebRtc 学而思镜像(gitlab.com/webrtc-mirr…):
3. WebRtc声网镜像(webrtc.agora.io/mirror/)
4. Flutter-p2p-engine(gitee.com/cdnbye/flut…):Flutter视频/直播APP省流量&加速,基于webrtc
5. Android-p2p-engine(gitee.com/cdnbye/andr…):传输能力基于WebRTC Datachannel,可以与CDNBye的Web端插件互联互通
6. UnityRenderStreaming(github.com/Unity-Techn…):Streaming Server for unity
7. WebRTC的拥塞控制和带看策略(mp.weixin.qq.com/s/Ej63-FTe5…):
8. WebRTC拥塞控制策略(www.freehacker.cn/media/webrt…)
9. Google’s BBR拥塞控制算法如何对抗diu丢包(blog.csdn.net/dog250/arti…)
10. RTP Media Congestion Avoidance Techniques:datatracker.ietf.org/wg/rmcat/ch…
11. medooze/media-server(github.com/medooze/med…):WebRTC Media Server
12. 涂鸦开源voip:gitee.com/tucodec/rel…
13. Jackarain/avplayer(github.com/Jackarain/a…):一个基于FFmpeg、libtorrent的P2P播放器实现
14. EricssonResearch/openwebrtc:A cross-platform WebRTC client framework based on GStreamer www.openwebrtc.org

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级安卓工程师，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Android移动开发全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频
如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注Android）

学习分享

在当下这个信息共享的时代，很多资源都可以在网络上找到，只取决于你愿不愿意找或是找的方法对不对了

很多朋友不是没有资料，大多都是有几十上百个G，但是杂乱无章，不知道怎么看从哪看起，甚至是看后就忘

如果大家觉得自己在网上找的资料非常杂乱、不成体系的话，我也分享一套给大家，比较系统，我平常自己也会经常研读。

2021最新上万页的大厂面试真题

七大模块学习资料：如NDK模块开发、Android框架体系架构…

只有系统，有方向的学习，才能在段时间内迅速提高自己的技术。

这份体系学习笔记，适应人群：
**第一，**学习知识比较碎片化，没有合理的学习路线与进阶方向。
**第二，**开发几年，不知道如何进阶更进一步，比较迷茫。
第三，到了合适的年纪，后续不知道该如何发展，转型管理，还是加强技术研究。如果你有需要，我这里恰好有为什么，不来领取！说不定能改变你现在的状态呢！
由于文章内容比较多，篇幅不允许，部分未展示内容以截图方式展示 。如有需要获取完整的资料文档的朋友点击我的GitHub免费获取。

道该如何发展，转型管理，还是加强技术研究。如果你有需要，我这里恰好有为什么，不来领取！说不定能改变你现在的状态呢！

由于文章内容比较多，篇幅不允许，部分未展示内容以截图方式展示 。如有需要获取完整的资料文档的朋友点击我的GitHub免费获取。