知识点概要

音视频的基础知识开发环境为： WIN/LINUX/MAC三大平台FFmpeg命令FFmpeg APIFFmpeg播放器FFmpeg编解码器RTMP/RTSP/HLS/HTTP-FLTP-FLP

构建Ffmpeg环境，如PCM格式、编码原理等YUV格式、IPB帧原理等：

掌握Windows平台、Linux平台、MAC平台三个平台的构建

常用工具：

媒体信息

1、音视频基础知识

2.1命令帮助

如何查询fmpeg命令以辅助Ffmpeg命令分类2.2 ffplay命令

播放播放控制使用ffplay播放pcm、yuv、过滤器2.3 ffmpeg命令

pcm、yuv、aac、h264视频录制指令多媒体文件的分解/复用指令修剪和合并指令图像/视频相互转换指令实时相关指令各种滤波指令

3.1音频视频渲染实战

SDL环境构建、事件处理、线程处理YUV视频播放实战PCM音频播放实战3.2 FFmpeg API

FFmpeg框架分析、内存模型分析、常用结构3.3音频视频解码器

FFmpeg解码过程分析AAC、H264编解码原理AAC、H264解码实战MP3AAC实战3.4音频视频甲板形式

FLV、MP4包格式分析包格式分析多媒体逆复用实战多媒体传输包格式实战音频采样视频大小转换3.5音频视频数据

音频视频滤波器视频滤波器的实际项目实现3.6 ffplay播放器

掌握ffplay.c的含义ffplay框架分析音视频解码、控制、同步参数机制3.7播放器开发实战

播放器框架分析模块分割音视频解码器播放器，控制音视频甲板同步的3.8 ffmpeg录像转码

掌握ffmpeg.c的意义ffmpeg框架分析音频视频编码包格式转换提取音频、视频标志重叠音频视频文件filter机制

4.1 RTMP流

RTMP协议分析wireshark包分析H264 RTMP、AAC RTMP封装RTMP流媒体实战H264 RTMP、AAC RTMP分析RTMP流媒体直播实战4.2 HLS

HLS、HTTP协议、TS格式分析、wireshark捕获包、FFmpeg HLS源代码分析HLS流实战、多编码机制4.3 HTTP-FLV流

HTTP-FLV协议分析、wireshark包分析、http chunk机制分析HTTP-FLV拉入流实战FFmpeg HTTP-FLV源代码分析4.4 RTSP流媒体实战

基于RTSP、RTP、RTCP协议分析H264 RTP包，分析AAC RTP包，构建RTSP流媒体服务器，推送流，拉流实战wireshark包分析

(990，

SRS 4.0源代码分析

整体框架分析RTMP推流分析、拉流分析HLS拉流分析HTTP-FLV拉流分析FFmpeg转码分析第一个画面秒开技术分析forward集群源代码分析edge集群源代码分析负载均衡配置方式

WebRTC通话原理分析WebRTC开发环境构建coturn优化构建方法音视频数据的收集方法一对一通话时序分析信令服务器设计SDP分析Candidate类型分析Web1一对一通话web和安卓通话AppRTC快速演示6.2 WebRTC高级

自定义摄像头分辨率码率限制调整编码器顺序Mesh模型多方通话Janus框架分析Janus Web、Android、Windows客户端源代码分析Janus信令设计Janus实现会议系统WebRTC源代码编译

源代码插件机制的线程分析信令交互过程视频room分析sdp、rtp、srtp、rtcp、stun、turn分析

音频视觉开发

So库自适应总结JNI Native层构建Java对象JNI异常处理编译FFmpeg，IJK播放器基于IJK播放器对OPES播放音频数据进行媒体解码OPES shaddec硬件解码，