这个问题很难一句两句说清楚,多线程的使用一定要慎用,使用多个线程来处理多任务的时候,效率肯定是有提高的,要不也不会有多线程这种东西存在了。但是对硬盘的读写有特殊的地方。
多线程使用的时候,要注意下面几个几点:
1.如果多线程是同步操作一个原子数据,(多个线程同步去处理一个加锁的对象),那效率肯定不会提升,就好像1个人去做1件事和多个人排队去做一件事效率是一样的;
2.服务器的硬件问题,多线程跑起来肯定会比单线程跑起来更加费CPU和内存,如果你的硬件本身就不给力,那也肯定快不起来;
3.关于多文件的了:
对磁盘进行多线程处理的时候,效率会急速下降!!
因为不同文件的读写,会造成磁头的频繁转换,磁头的频繁转换要比读取磁盘的时间更长。
所以这种情况下,最好有个线程去读取文件,其他的线程去处理文件数据中的业务逻辑处理
你是不是采用普通的 File文件API来读写文件?
如果你,这种用法是肯定不会提高效率的!
因为文件,网络等流的读写都需要操作IO通道,而操作系统的IO通道数量是固定的。
我们假设你的电脑只有一个IO通道,如果你打开一个文件流并进行读写,则占用了一个IO通道,如果你又打开一个文件流,则第二个文件流需要等待第一个文件关闭通道才能真正意义上的进行读写。 所以实际上,你打开多个文件同时进行读写时就是在串行单线程操作。
解决的办法是采用 NIO: java.nio (Java 2 Platform SE v1.4.2)
NIO的意思当然就是同时开启N个IO通道了,如果你的机器硬件的确只支持同时打开一个通道的话,JAVA虚拟器会帮你做虚拟协调(很强大吧?) NIO比普通IO技术至少快30%,
请看我的示例代码,这段代码是用在Android客户端的,在普通Java上可能有所不同,具体可以查看JACA 文件NIO的文档
假设需求是:
public static void saveFileToLocalDisk(String fileName, byte[] buffer)
则实现应该是:
FileOutputStream os = null;
FileChannel channel=null;
ByteBuffer byteBuffer=null;
try {
os = new FileOutputStream(file);
if(os!=null){
channel=os.getChannel();
byteBuffer=ByteBuffer.allocate(buffer.length);
byteBuffer.put(buffer);
byteBuffer.flip();
channel.write(byteBuffer);
}
} catch (IOException e) {
e.printStackTrace();
} finally {
try{
if(os!=null){
os.close();
}
if(channel!=null){
channel.close();
}
if(byteBuffer!=null){
byteBuffer.clear();
byteBuffer=null;
}
}catch(Exception e){}
}
还记得普通方式写文件吗?
先得到FileOutputStream,然后直接设用 os.write(bytes);
而现在不同点在于先得到一个Channel再建构一个Bytebuffer,再用两者完成任务,JAVA虚拟机帮你完成剩下的CPU和IO任务调度
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
public class TestThread extends Thread {
public int ThreadId;
public TestThread(int ThreadId) {
this.ThreadId = ThreadId;
}
@Override
public void run() {
// TODO Auto-generated method stub
for (int i = 0; i <= 100; i++)
System.out.println("进程" + ThreadId + ":" + i);
super.run();
}
public static void main(String[] args) {
// for(int i=0;i<=3;i++)
// new TestThread(i).run();
// TestThread th = new TestThread(i);
// 在线程池中创建3个线程空间
ExecutorService exec = Executors.newFixedThreadPool(3);
// Object TestThread;
for (int i = 0; i <= 3; i++) {
TestThread th = new TestThread(i);
// 线程池运行
exec.execute(th);
}
exec.shutdown();
}
}
对比一下
for(int i=0;i<=3;i++)
new TestThread(i).run();
跟
for (int i = 0; i <= 3; i++) {
TestThread th = new TestThread(i);
// 线程池运行
exec.execute(th);
}
的区别
你的网络情况怎么样,是不是下载文件的时候特别慢,导致各个线程都在等服务器消息?
你说的“然后在本地解压,最后输出”,是什么意思,你是吧所有的文件都输出到一个文件中,还是输出到不同文件中?如果输出到一个文件中,那线程之间就变成串行操作了。
你的下载的文件都多大,文件的压缩率高吗?测试的时候,cpu使用率如何? – 至尊宝 2012-08-17