Retrofit 2.0 超能实践(四),实现大文件多线程断点下载

RxJava+Retrofit 系列文章

Posted by Tamic on 2016-06-17

作者:码小白 (Tamic)
www.tamicer.com

通过前几篇系统的介绍和综合运用,忘记介绍文件下载功能了,有朋友问到,目前APP文件下载主要有断点续传,多线程并发下载,多类型下载,今天就介绍下其Retrofit下载文件功能,已结合RxJava。

Retrofit系列导读:

ApiService

编写API,执行下载接口功能。

public interface ApiService {
  @Streaming
  @GET
  Observable<ResponseBody> downloadFile(@Url String   fileUrl);
}

url由于是可变的,因此用 @URL 注解符号来进行指定,大文件官方建议用 @Streaming 来进行注解,不然会出现IO异常,小文件可以忽略不注入。如果想进行断点续传的话 可以在此加入header,但不建议直接在api中写死,每个下载的请求大小是不同的,在拦截器加入更为妥善。

DownLoadManager

实现一个下载管理者 来进行文件写入,类型判断等,如果想做完善,可以判断下http的请求头 content-length, content- type, RANGE 第一个用来判断文件大小,第二个文件类型,第三个是文件从哪儿开始下载,如果对下载来源校验可以加入referer, 不是目标来源的可以不予下载权限。

public class DownLoadManager {

  private static final String TAG = "DownLoadManager";

 private static String APK_CONTENTTYPE = "application/vnd.android.package-archive";

 private static String PNG_CONTENTTYPE = "image/png";

 private static String JPG_CONTENTTYPE = "image/jpg";

 private static String fileSuffix="";

 public static boolean  writeResponseBodyToDisk(Context context, ResponseBody body) {

    Log.d(TAG, "contentType:>>>>"+ body.contentType().toString());

    String type = body.contentType().toString();

    if (type.equals(APK_CONTENTTYPE)) {

       fileSuffix = ".apk";
    } else if (type.equals(PNG_CONTENTTYPE)) {
        fileSuffix = ".png";
    }

    // 其他类型同上 自己判断加入.....


    String path = context.getExternalFilesDir(null) + File.separator + System.currentTimeMillis() + fileSuffix;

    Log.d(TAG, "path:>>>>"+ path);

    try {
        // todo change the file location/name according to your needs
        File futureStudioIconFile = new File(path);

        InputStream inputStream = null;
        OutputStream outputStream = null;

        try {
            byte[] fileReader = new byte[4096];

            long fileSize = body.contentLength();
            long fileSizeDownloaded = 0;

            inputStream = body.byteStream();
            outputStream = new FileOutputStream(futureStudioIconFile);

            while (true) {
                int read = inputStream.read(fileReader);

                if (read == -1) {
                    break;
                }

                outputStream.write(fileReader, 0, read);

                fileSizeDownloaded += read;

                Log.d(TAG, "file download: " + fileSizeDownloaded + " of " + fileSize);
            }

            outputStream.flush();


            return true;
        } catch (IOException e) {
            return false;
        } finally {
            if (inputStream != null) {
                inputStream.close();
            }

            if (outputStream != null) {
                outputStream.close();
            }
        }
    } catch (IOException e) {
        return false;
    }
}

}
上面只是简单的对不同类型文件进行了判断,其他类型参考http协议描述类型自行加入,断点续传目前暂时没实现,基于HttpClinet下载的介绍很多,关键思想是记录一条下载产生后的RANGE 到数据库里,每条下载行对应一条数据,下载ID是区分唯一的主键, 包含filename, fileSize, fileType, downTime, downRange status基本可满足多线程下载数据要求,在Retrofit结合RXJava后 解决了线程安全问题,实现多线程下载就更so yi z, 这里我不做过多的介绍。

#调用下载

 OkHttpClient okHttpClient = new OkHttpClient.Builder()
            .build();
 Retrofit retrofit = new Retrofit.Builder()
            .client(okHttpClient)
            .baseUrl(url)
            .build();
Api Service apiService = retrofit.create(ApiService.class);

apiService..download(url1,
                    new Subscriber<ResponseBody>() {
                        @Override
                        public void onCompleted() {

                        }

                        @Override
                        public void onError(Throwable e) {

                        }

                        @Override
                        public void onNext(ResponseBody responseBody) {

                            if (DownLoadManager.writeResponseBodyToDisk(MainActivity.this, responseBody)) {
                                Toast.makeText(MainActivity.this, "Download is sucess", Toast.LENGTH_LONG).show();
                            }

                        }
                    });
        }
    });

然我们可以在header中加入上次下载的进度大小,就可以实现基本的断点下载了,多线程下载目前业内主要由下面思想实现,我们可以请求到文件总长度的时候,均分三段大小区间,来开启三个新线程去下载,下载完后再以唯一的文件ID,将三段文件以此追加到一个文件就可以了,当然在retrofit结合RxJava,你无需开启新线程,只需订阅一下 Subscriber到IO线程即可,这里注意的是你需要判断最后的文件大小和HashCode来进行验证文件完整性,不然视频文件丢包没多大影响,最多会卡帧,但是apk却无法解析安装了。

#断点下载

##apiServiece

@GET
@Streaming
Observable<Response<ResponseBody>> download(@Header("Range") String range, @Url String url);

##API

DownLoadInfos里面包含name,length, url等,这里不再贴了。

DownloadType 里面记录要有statslastModifydownloadedsavepath等, 直接看API

 public Observable<DownloadInfos> download(@NonNull final String url, @NonNull final String saveName,
   @Nullable final String savePath) {
return downloadDispatcher(url, saveName, savePath);
}





private Observable<DownloadStatus> downloadDispatcher(final String url, final String saveName, final String savePath) {
    return getDownloadType(url)
            .flatMap(new Func1<DownloadType, Observable<DownloadStatus>>() {
                @Override
                public Observable<DownloadInfos> call(DownloadType type) {
                    try {
                        type.prepare();
                    } catch (IOException | ParseException e) {
                        return Observable.error(e);
                    }
                    try {
                        return type.start();
                    } catch (IOException e) {
                        return Observable.error(e);
                    }
                }
            })
            .doOnCompleted(new Action0() {
                @Override
                public void call() {
                    mDownloadManager.delete(url);
                }
            })
            .doOnError(new Action1<Throwable>() {
                @Override
                public void call(Throwable throwable) {

                    mDownloadManager.delete(url);
                }
            })
            .doOnUnsubscribe(new Action0() {
                @Override
                public void call() {
                    mDownloadManager.delete(url)
            });
}

开始下载:

@Override
Observable<DownloadInfos> start() {
    Log.i(TAG, "Normal download start!!");
    return mDownloadHelper.getDownloadApi().download(null, mUrl)
            .subscribeOn(Schedulers.io())
            .flatMap(new Func1<Response<ResponseBody>, Observable<DownloadStatus>>() {
                @Override
                public Observable<DownloadStatus> call(final Response<ResponseBody> response) {
                    return normalSave(response);
                }
            }).onBackpressureLatest().retry(new Func2<Integer, Throwable, Boolean>() {
                @Override
                public Boolean call(Integer integer, Throwable throwable) {
                    return mDownloadHelper.retry(integer, throwable);
                }
            });
}

##调用

DownloadAgenti.getInstance(mContext)
               .observeOn(Schedulers.io())
               .observeOn(AndroidSchedulers.mainThread())
               .subscribe(new Subscriber<DownloadInfos>() {
                   @Override
                   public void onCompleted() {
                       // todo
                   }

                   @Override
                   public void onError(Throwable e) {
                      todo
                   }

                   @Override
                   public void onNext(final DownloadStatus status) {
                      todo
                   }
               }); 

#总结

步骤:

请求文件总大小

根据机型高低,分配多个线程下载

记录下载进度,大小,类型等到数据库

同时更新UI和通知栏,提示用户

下载结束后更新数据库下载数据,追加组合文件

判断文件大小,检验文件大小

下载功能是每个应用必须的功能,因此下载还是比较重要的一个模块,好的下载架构 会考虑到设备的CPU大小,网络状态,以及外部sdcard的大小,动态进行性能,流量分配,方便用户更好的体验和使用你的APP.

具体可以阅读 - 基于Retrofit2.0 封装的超好用的RetrofitClient工具类 中的写法

项目github:https://github.com/Tamicer/FastDownloader