parfor-loop期间,突然得到的错误“无法读取文件”

12个视图(30天)

显示旧的评论

Xingwang勇 2020年12月12日

0
链接

这个问题直接联系

//www.tianjin-qmedu.com/matlabcentral/answers/691585-during-parfor-loop-suddenly-get-the-error-unable-to-read-file

评论道: Xingwang勇 2020年12月14日

                         parfork = 1∶
                        
                         %别的东西
                        
                         tmpStruct =负载(文件名);
                        
                         %别的东西
                        
                         结束

我有三个像上面的脚本。我3的不同节点集群上运行它们。

一些迭代后,工作得到错误“无法读取文件,没有这样的文件或目录”。这是令人困惑,因为这个文件存在,另两份工作可以阅读它。

我认为这是由于有限的文件句柄的linux系统。但是我不明白为什么load()函数与文件句柄。

,如果他们是相关的,我怎样才能避免这种“有限的文件句柄”的问题?我想增加linux的文件句柄,但似乎它总是超过限制如果我运行togegher几项工作。

顺便说一下,我绝对肯定我没有使用fopen()脚本。

9日评论
显示8年长的评论隐藏8年长的评论

Xingwang勇 2020年12月12日

谢谢你的建议关于如何修改我的代码。它不会帮助。为简便起见,我简化问题在最初的问题。下面的伪代码更接近我的问题。

                               parfork = 1∶
                              
                               lsqcurvefit (@my_obj_function)
                              
                               结束
                              
                               函数my_obj_function
                              
                               tmpStruct =负载(文件名);
                              
                               look_up_table = tmpStruct.look_up_table;
                              
                               结束

所以我可能没有加载这个查阅表外parfor-loop和内部使用它。实际上,里面有外载荷和使用的一种方法,就是通过my_obj_function look_up_table作为参数。但我认为这有点不雅。

我发现的另一种方法避免使用load ()。我用查表函数调用。尽管函数调用比负载()慢一点,我将使用函数调用,以避免恼人的文件句柄的问题。

我将感激如果你能告诉我如何使用load()会麻烦。这真的是令人困惑。

马里奥苹果 2020年12月13日

你也可以检查复合和 parallel.pool.Constant 。我认为这取决于文件系统和文件格式。我仍然认为你应该完全避免负载,因为它是低效的。

你有提到3节点的集群运行这个,问题是,他们如何加载文件?你提供完整或相对路径吗?每个节点有其复制的文件吗?

这个错误消息“无法读取文件,没有这样的文件或目录”意味着文件损坏或MATLAB不能读它(没有读访问),或路径文件是不正确的。

我不知道负载实际上是如何工作的,但当打开一个文件,访问它可能是也可能不是吗锁着的其他进程。即使需要几乎没有时间来加载该文件,您有多个工人可能访问相同的文件(可能有问题,我不能肯定)同时,并导致这样的错误。

Xingwang勇 2020年12月14日

是的,使用负载()time-cosuming且容易出错。

登录置评。

在回答这个问题。

答案(0)

在回答这个问题。

类别

并行计算并行计算工具箱批处理详细的工作和任务控制工作和任务创建

找到更多的在工作和任务创建在帮助中心和文件交换

s manbetx 845

释放

R2018a

社区寻宝

找到宝藏在MATLAB中央,发现社区如何帮助你!

开始狩猎!