为什么java中使用多线程不能明显提高程序效率

应用多个线程同时解析多个文件,比起使用单线程顺序解析这些文件,效率并没有提高 ??

我这里先是读取远程数据库中的文件,然后在本地解压,最后输出。远程数据库是文件数据库

评论 (6)链接2012-02-06 
  • 0 支持
    试试用线程池 – 曾裕捷 2012-08-16
  • 3 支持
    这个问题很简单,你的瓶颈根本不在内存里的数据处理,而在于你的磁盘IO性能,所以多线程根本起不了什么作用,甚至会导致并发的IO操作而降低性能。 就好比你急着往一个U盘上拷五部电影,你五个文件都复制黏贴,五个对话框同时拷贝,说不定比你一个一个拷贝还慢。。。 – ronnie 2012-08-16
  • 0 支持
    代@yunnysunny转发
    你的网络情况怎么样,是不是下载文件的时候特别慢,导致各个线程都在等服务器消息?
    你说的“然后在本地解压,最后输出”,是什么意思,你是吧所有的文件都输出到一个文件中,还是输出到不同文件中?如果输出到一个文件中,那线程之间就变成串行操作了。
    你的下载的文件都多大,文件的压缩率高吗?测试的时候,cpu使用率如何?
    – 至尊宝 2012-08-17
  • 1 支持
    一般只用一个线程处理一种IO就够了。 – 灵剑2012 2012-09-10
显示更多隐藏的评论

我感觉你首先应该明白多线程一些作用;
使用线程的好处有以下几点:
·使用线程可以把占据长时间的程序中的任务放到后台去处理
·用户界面可以更加吸引人,这样比如用户点击了一个按钮去触发某些事件的处理,可以弹出一个进度条来显示处理的进度
·程序的运行速度可能加快
·在一些等待的任务实现上如用户输入、文件读写和网络收发数据等,线程就比较有用了。在这种情况下我们可以释放一些珍贵的资源如内存占用等等。

你出现的问题就像上面两位前辈所说的,采用文件操作影响了你的效率,你应该改变一下这种机制,变为现在流行的nosql机制,当然这是我个人的建议

该答案已被锁定,无法对其进行评论,编辑及投票。
()
评论 (0)链接 • 2012-02-07

1,多线程主要是为了充分利用多核cpu资源,如果你的硬件跟不上,只有一个cpu,那么多线程从并发变成了串行了,另外再加上线程上下文切换的时候,那你就得不偿失了
2,线程的个数对于一个应用程序来讲的话,往往会有一个临界值。
3,临界资源的访问问题,程序中临界区的指令一般来说越少越好,最好不要在临界区中做一些重量级的事情,例如说数据库,写文件,读文件!

该答案已被锁定,无法对其进行评论,编辑及投票。
()
评论 (0)链接 • 2012-02-09

这个问题很难一句两句说清楚,多线程的使用一定要慎用,使用多个线程来处理多任务的时候,效率肯定是有提高的,要不也不会有多线程这种东西存在了。但是对硬盘的读写有特殊的地方。
多线程使用的时候,要注意下面几个几点:
1.如果多线程是同步操作一个原子数据,(多个线程同步去处理一个加锁的对象),那效率肯定不会提升,就好像1个人去做1件事和多个人排队去做一件事效率是一样的;
2.服务器的硬件问题,多线程跑起来肯定会比单线程跑起来更加费CPU和内存,如果你的硬件本身就不给力,那也肯定快不起来;
3.关于多文件的了:
对磁盘进行多线程处理的时候,效率会急速下降!!
因为不同文件的读写,会造成磁头的频繁转换,磁头的频繁转换要比读取磁盘的时间更长。
所以这种情况下,最好有个线程去读取文件,其他的线程去处理文件数据中的业务逻辑处理

该答案已被锁定,无法对其进行评论,编辑及投票。
()
评论 (0)链接 • 2012-02-06

你是不是采用普通的 File文件API来读写文件?
如果你,这种用法是肯定不会提高效率的!
因为文件,网络等流的读写都需要操作IO通道,而操作系统的IO通道数量是固定的。

我们假设你的电脑只有一个IO通道,如果你打开一个文件流并进行读写,则占用了一个IO通道,如果你又打开一个文件流,则第二个文件流需要等待第一个文件关闭通道才能真正意义上的进行读写。 所以实际上,你打开多个文件同时进行读写时就是在串行单线程操作。

解决的办法是采用 NIO: java.nio (Java 2 Platform SE v1.4.2)
NIO的意思当然就是同时开启N个IO通道了,如果你的机器硬件的确只支持同时打开一个通道的话,JAVA虚拟器会帮你做虚拟协调(很强大吧?) NIO比普通IO技术至少快30%,

请看我的示例代码,这段代码是用在Android客户端的,在普通Java上可能有所不同,具体可以查看JACA 文件NIO的文档

假设需求是:
public static void saveFileToLocalDisk(String fileName, byte[] buffer)

则实现应该是:

  
FileOutputStream os = null;
FileChannel channel=null;
ByteBuffer byteBuffer=null;
try {
os = new FileOutputStream(file);
if(os!=null){
channel=os.getChannel();
byteBuffer=ByteBuffer.allocate(buffer.length);
byteBuffer.put(buffer);
byteBuffer.flip();
channel.write(byteBuffer);
}
} catch (IOException e) {
e.printStackTrace();
} finally {
try{
if(os!=null){
os.close();
}
if(channel!=null){
channel.close();
}
if(byteBuffer!=null){
byteBuffer.clear();
byteBuffer=null;
}
}catch(Exception e){}
}

还记得普通方式写文件吗?
先得到FileOutputStream,然后直接设用 os.write(bytes);
而现在不同点在于先得到一个Channel再建构一个Bytebuffer,再用两者完成任务,JAVA虚拟机帮你完成剩下的CPU和IO任务调度

冯义军
冯义军
14.02K
编辑于 2012-06-21
该答案已被锁定,无法对其进行评论,编辑及投票。
()
评论 (0)链接 • 2012-04-19

解析文件,解压这些操作都是耗计算的(耗cpu时间),也就是说任务的快慢取决于cpu和算法的性能。线程是为了解决真正意义上需要并行的不同任务,前提是这些并行任务不是特别耗计算,或者说这些任务任意一个都不能满负荷cpu,这样的线程执行并行任务才有提高效率的可能。

该答案已被锁定,无法对其进行评论,编辑及投票。
()
评论 (0)链接 • 2012-02-09

感觉不是效率没有提高,而是使用方法有问题,或者是关乎磁盘的问题了,频繁德磁头转换,如果单个数据不是很大,可以尝试一次性将文件读入内存或者是分几个大部分读入内存,之后在内存中操作,也许会好一些。

该答案已被锁定,无法对其进行评论,编辑及投票。
()
评论 (0)链接 • 2012-02-06

读远程文件效率低的由下面几点决定:
1、网络环境(网速,远程服务器响应速度)
2、系统环境(系统本身配置是否达到最化化,如socket等)
3、软件环境(服务器,如jboos tomcat,jvm配置)
4、代码本身(最后才是代码本身)

性能没有提升是因为你前面3个没搞好,别怪代码

该答案已被锁定,无法对其进行评论,编辑及投票。
()
评论 (0)链接 • 2012-06-21
  
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

public class TestThread extends Thread {
public int ThreadId;

public TestThread(int ThreadId) {
this.ThreadId = ThreadId;
}

@Override
public void run() {
// TODO Auto-generated method stub
for (int i = 0; i <= 100; i++)
System.out.println("进程" + ThreadId + ":" + i);
super.run();
}

public static void main(String[] args) {
// for(int i=0;i<=3;i++)
// new TestThread(i).run();
// TestThread th = new TestThread(i);
// 在线程池中创建3个线程空间
ExecutorService exec = Executors.newFixedThreadPool(3);
// Object TestThread;
for (int i = 0; i <= 3; i++) {
TestThread th = new TestThread(i);
// 线程池运行
exec.execute(th);
}
exec.shutdown();
}
}

对比一下
for(int i=0;i<=3;i++)
new TestThread(i).run();


for (int i = 0; i <= 3; i++) {
TestThread th = new TestThread(i);
// 线程池运行
exec.execute(th);
}
的区别

该答案已被锁定,无法对其进行评论,编辑及投票。
()
评论 (0)链接 • 2012-08-16

java多线程,你可以理解释缓解主线程的压力,但是线程多了势必会造成一些不良后果,比如线程阻塞等等,可定会影响效率。

该答案已被锁定,无法对其进行评论,编辑及投票。
()
评论 (0)链接 • 2012-08-16

我个人的一点想法,多线程虽然是并发,但同样受硬件影响,比如CPU、内存等,而且某些共享的数据加锁后被使用也会阻塞线程,就像木桶原理,取决于最短的木板,好好查查当前或者的线程数和共享的数据有没有什么问题。

该答案已被锁定,无法对其进行评论,编辑及投票。
()
评论 (0)链接 • 2012-07-10

java多线程是要消耗cpu的,机器有几个CPU最好创建一个线程,这样的效率是最高的。你的问题需要检查一下,瓶颈是否在线程这里,还是网络链接或者IO这里。

该答案已被锁定,无法对其进行评论,编辑及投票。
()
评论 (0)链接 • 2012-08-16
德问是一个专业的编程问答社区,请 登录注册 后再提交答案