音视频格式简介

    // 获取文件封装格式
    main() --> stream_open() --> read_thread() --> avformat_open_input() --> init_input()
    --> av_probe_input_buffer2() --> av_probe_input_format2() --> av_probe_input_format3()
    --> for(){ score = fmt1->read_probe() } // 选出封装格式，如mp4、mkv // AVInputFormat *fmt1
    // mp4的read_probe() 是 mov_probe()

    // 解封装，获取基础的流信息
    main() --> stream_open() --> read_thread() --> avformat_open_input()
    --> s->iformat->read_header(s) // 获取基本的流信息，如有多少音频和视频，音视频是什么格式
    // mp4的read_header() 是 mov_read_header()

    // 获取流里面的帧
    --> ff_read_packet()
    --> s->iformat->read_packet(s, pkt)
    // mp4的read_packet() 是 mov_read_packet()

    // 解码
    AVCodec *codec
    video_thread() --> get_video_frame() --> decoder_decode_frame() --> packet_queue_get() --> avcodec_receive_frame()
    --> decode_receive_frame_internal() --> decode_simple_receive_frame() --> decode_simple_internal()
    --> avctx->codec->decode()
    ffmpeg/libavcodec/mpegaudiodec_float.c   decode_frame()
    ffmpeg/libavcodec/h264dec.c   h264_decode_frame()

    // 文件操作
    //最终的读数据接口 url.h URLProtocol 将数据读到 AVIOContext
    main() --> stream_open() --> read_thread() --> avformat_alloc_context()
    --> avformat_get_context_defaults() --> io_open_default()
    --> ffio_open_whitelist() --> ffurl_open_whitelist()
    --> ffurl_connect() --> uc->prot->url_open()
    //实际调用的地方是：
    read_thread() --> avformat_open_input() --> init_input()
    --> s->io_open()
    //读取的数据放到AVIOContext中的buffer中
    url_open            = file_open, //file.c
    ffurl_read()  ffio_geturlcontext()  AVIOContext中read_packet()

    //数据流通过程
    read_probe(AVProbeData.buf) <-- avio_read(AVIOContext.buf_ptr, 2k) <-- AVFormatContext.pb

	//转码
	main() --> transcode() --> transcode_step() --> process_input() --> process_input_packet()
	--> do_streamcopy() --> output_packet() --> write_packet() --> av_interleaved_write_frame()
	--> write_packets_common() --> write_packet_common() --> write_packet() --> ff_raw_write_packet()
    --> avio_write() --> memcpy()

    //打开文件
    main() --> ffmpeg_parse_options() --> open_files() -->
    --> open_input_file() --> avformat_open_input() --> AVFormatContext *ic
    //处理流
    --> choose_decoder() --> avformat_find_stream_info()
    --> add_input_streams() --> transcode() --> transcode_step()
    --> transcode_step() --> transcode_from_filter()

	mov.c
	//dts的计算
	mov_read_packet() --> dts = timestamp; 	mov_read_trak() --> mov_build_index() --> timestamp = current_dts{in stsc box}; current_dts += stts_data.duration{in stts box} --> 
	//需要调整的时候--> mov_fix_index() --> add_index_entry()

	//pts的计算
	//没有b帧时
	pts = dts
	//有b帧时
	pts = dts + dts_shift + ctts_data.duration;
	dts_shift: mov_update_dts_shift() --> ctts_duration{ctts box存放dts pts差值}

    /* 音频播放流程 */
    ffplay.c
    main() --> stream_open() --> read_thread() --> stream_component_open() --> audio_open() --> sdl_audio_callback()
    --> SDL_OpenAudioDevice() --> SDL_PauseAudioDevice()

    /* 视频播放流程 */
    main() --> event_loop() --> refresh_loop_wait_event() --> video_refresh() --> video_display() --> video_image_display()

	mov.c
		mp4解封装获取pkt->pts

	decode.c 
		ff_decode_frame_props()  frame->pts = pkt->pts;

	decoder_decode_frame() -->
		音频：frame->pts //这里的frame->pts和原始的mov.c中mp4的pkt->pts一致
		视频：frame->pts

	//获取Frame中af->pts（float，以秒为单位）
	audio_thread()  or video_thread()-->
		af->pts = (frame->pts == AV_NOPTS_VALUE) ? NAN : frame->pts * av_q2d(tb); //从累计数据量转换为时间轴实际秒数

	//获取VideoState中的audio_clock
	//=====================
	struct Frame --> double af->pts; double duration; //实测为当前帧从0开始的相对秒数
	audio_decode_frame() -->
	struct VideoState --> double audio_clock; //实测为从零开始，当前帧播完时的相对秒数（浮点型，精确到毫秒）
		is->audio_clock = af->pts + (double) af->frame->nb_samples / af->frame->sample_rate; //l2493

	调整时间轴时间 //获取Clock中的pts
	//======================
	sdl_audio_callback() -->
		set_clock_at(&is->audclk, ...) --> Clock audclk; --> .pts --> get form "is->audio_clock"