La traducción de esta página está obsoleta。Haga clic aquí para ver la última versión en inglés。
我们可以把数据写在ubicación的函数中,在MATLAB的对象中®,我们的文件E/S的功能和almacén是一样的。我们可以在cómo的配置中,把它描述为在我们的平台上和在我们的平台上:
Amazon S3™(简单存储服务)
Azure®Blob Storage (Windows Azure的前身®存储Blob (WASB))
分布式Hadoop系统®(HDFS™)
MATLAB允许您使用Amazon S3 como servicio web de almacenamiento de archivos online ofrecido por Amazon web Services。既要明确ubicación de los datos,又要明确la ruta complete a los archivos o las carpetas mediante un localizador unime de recursos (URL) con el formato
s3: / /bucketname/path_to_file
bucketname
这是被竞争者y的数path_to_file
这是las carpetas的档案。
Amazon S3Proporciona almacenamiento de datos a través de interfaces de services web。喝水可以utilizar联合国桶在Amazon S3中,como contenedor para almacenar objects。
您可以在Amazon S3上进行配置:
Regístrese para obtener una cuenta raíz de Amazon Web Services (AWS)。Consulte亚马逊Web服务:cuenta.
Con su cuenta raíz de AWS, cree un usuario de IAM (Administración de identidades y accesos)。ConsulteCreación de un usuario de IAM en sucuenta de AWS.
一般来说,一个人应该是一个人,一个人应该是一个人,一个人应该是一个人。ConsulteAdministración de las claves de acco de los usuarios de IAM.
在AWS的接入处配置设备,在AWS的接入处región的中间接口línea的接入处https://aws.amazon.com/cli/.在备选形式中,配置中间变量的方向性setenv
:
AWS_ACCESS_KEY_ID
yAWS_SECRET_ACCESS_KEY
:用户可以向Amazon S3提供服务。(generó用户可以向Amazon S3提供服务。)
AWS_DEFAULT_REGION
(可选):select cione la región geográfica del bucket。这个变量的价值是确定的automáticamente,但必须在配置手册中注明。
AWS_SESSION_TOKEN
(可选):sesión在时间方面的特殊凭证,可以在AWS的autenticación联邦上使用®.
如果你使用并行计算工具箱™,那么你就可以使用它来配置S3的服务。把客户端上的变量和建立集群的工作人员联系起来EnvironmentVariables
在parpool
,批处理
,createJob
我是集群文件管理员。
他说:“我们反对。ImageDatastore
我们可以把它放在específica的亚马逊S3上,我们可以把它放在pantalla上。
setenv(“AWS_ACCESS_KEY_ID”、“YOUR_AWS_ACCESS_KEY_ID”);setenv(“AWS_SECRET_ACCESS_KEY”、“YOUR_AWS_SECRET_ACCESS_KEY”);ds = imageDatastore('s3://bucketname/image_datastore/jpegfiles',…' inclesubfolders ', true, 'LabelSource', 'foldernames');img = ds.readimage (1);imshow (img)
他说:“我们反对。tabularTextDatastore
在亚马逊S3的表格中,我们可以先把它放在上面,然后再把它放在clasificándolos上,然后再把它放在亚马逊S3上。
setenv(“AWS_ACCESS_KEY_ID”、“YOUR_AWS_ACCESS_KEY_ID”);setenv(“AWS_SECRET_ACCESS_KEY”、“YOUR_AWS_SECRET_ACCESS_KEY”);ds = tabularTextDatastore('s3://bucketname/dataset/ airlinessmall .csv',…'TreatAsMissing', 'NA', 'SelectedVariableNames', {'ArrDelay'});tt =高(ds);tt = sortrows (rmmissing (tt));写(“s3: / / bucketname / preprocessedData /”,tt);
把它转到另一个地方,用función数据存储
.
ds =数据存储(s3: / / bucketname / preprocessedData / ');tt =高(ds);
MATLAB允许利用Azure Blob Storage para el almacenamiento de archivos在线。既要明确ubicación de los datos,又要明确la ruta complete a los archivos o las carpetas mediante un localizador unime de recursos (URL) con el formato
wasbs: / /container@account/path_to_file/file.ext
container@account
这是被竞争者y的数path_to_file
这是las carpetas的档案。
AzureProporciona almacenamiento de datos a través de interfaces de services web。喝水可以utilizar联合国团蓝色的旁蜡染档案。ConsulteIntroduccion一AzurePara obtener más información。
我们可以在Azure上进行操作,可以配置为最基本的:
Regístrese para obtener una cuenta de Microsoft Azure y consultCuenta de Microsoft Azure.
定义我们的证书autenticación建立精确的变量的中间值setenv
:
MW_WASB_SAS_TOKEN
: autenticación mediante firma de accespartido (SAS)
Obtenga una SAS。Para obtener información,咨询la sección«Obtención de la SAS Para un contenedor de blobs»enAdministración de recursos de Azure Blob Storage con el el Explorador de Storage.
MATLAB, establezcaMW_WASB_SAS_TOKEN
在SAS的咨询中。比如:
setenv MW_WASB_SAS_TOKEN”?圣= 2017 - 04 - 11 - t09 % 3 a45 % 3 a00z&se = 2017 - 05 - 12 - t09 % 3 a45 % 3 a00z&sp = rl&sv = 2015 - 12 - 11 - sr = c&sig = E12eH4cRCLilp3Tw % 2 bardyyr8rrumw45wbxhwpmzsrce % 3 d '
我们应该在Azure存储的浏览器上建立SAS válido的通用网络。
MW_WASB_SECRET_KEY
: autenticación在上面的中间有一个分泌
储存秘密的人应享有管理员的特权。我们可以用MATLAB来说明如何建立变量MW_WASB_SECRET_KEY
.比如:
setenv MW_WASB_SECRET_KEY“1234567890 abcdef1234567890abcdef1234567890abcdef”
当使用并行计算工具箱时,可以将客户端上的变量与集群建立的工作人员进行比较EnvironmentVariables
在parpool
,批处理
,createJob
我是集群文件管理员。
Para obtener más información,咨询Uso de Azure Storage con cluster de Azure HDInsight.
在Azure Blob Storage中查看ubicación的数据,具体为ubicación con la siguiente sintaxis:
wasbs: / /container@account/path_to_file/file.ext
container@account
这是被竞争者y的数path_to_file
这是las carpetas的档案。
请给我一份档案airlinesmall.csv
en una carpeta/航空公司
你可以用你的眼睛看你的眼睛wasbs: / / blobContainer@storageAccount.blob.core.windows.net/
,你可以在UN almacén de datos mediante:
位置=“wasbs: / / blobContainer@storageAccount.blob.core.windows.net/airline/airlinesmall.csv”;
ds = tabularTextDatastore(location, 'TreatAsMissing', 'NA',…)SelectedVariableNames, {' ArrDelay '});
请大家用蓝色来做我们的cálculos请大家承认,直接讲课,mapreduce
这就是深度学习。请原谅,我反对ImageDatastore
, lea una imagen específica del almacén de datos y luego muestre la imagen en en pantalla。
setenv(“MW_WASB_SAS_TOKEN”、“YOUR_WASB_SAS_TOKEN”);ds = imageDatastore('wasbs://YourContainer@YourAccount.blob.core.windows.net/',…' inclesubfolders ', true, 'LabelSource', 'foldernames');img = ds.readimage (1);imshow (img)
我希望大家都能看到我们的图表,我们不反对tabularTextDatastore
在这里,我们可以先把它去掉,然后在clasificándolos,然后把它去掉。
setenv(“MW_WASB_SAS_TOKEN”、“YOUR_WASB_SAS_TOKEN”);ds = tabularTextDatastore('wasbs://YourContainer@YourAccount.blob.core.windows.net/dataset/airlinesmall.csv',…'TreatAsMissing', 'NA', 'SelectedVariableNames', {'ArrDelay'});tt =高(ds);tt = sortrows (rmmissing (tt));写(wasbs: / / YourContainer@YourAccount.blob.core.windows.net/preprocessedData/, tt);
把它转到另一个地方,用función数据存储
.
ds =数据存储(“wasbs: / / YourContainer@YourAccount.blob.core.windows.net/preprocessedData/”);tt =高(ds);
MATLAB允许利用Hadoop (HDFS)文件系统在线归档。我们可以在ubicación de los datos上详细说明,也可以在URL上详细说明完整的la la carpetas mediante un localizador uniform de recursos的los archivos o la localizador uniform de recursos上详细说明格式:
hdfs: /path_to_file
hdfs: / / /path_to_file
hdfs: / /主机名/path_to_file
主机名
这是主机和服务器的编号path_to_file
这是las carpetas的档案。Especificar厄尔主机名
es opcional。这是不具体的主机名
, Hadoop在MATLAB中使用了主机预先确定数,并将其与instalación的分布式Hadoop (HDFS)文件系统相关联。
请大家把我们的名字写进almacén的档案里,中
, en una carpeta llamada数据
这是联合国的主教派myserver
:
ds = tabularTextDatastore (“hdfs: / / /数据/中”)
ds = tabularTextDatastore (hdfs: / / myserver /数据/中)
这是具体情况主机名
,我们可以给它下个定义fs.default.name
en los archivos de configuración XML de Hadoop del cluster de Hadoop。
形式可选,请包括número。请原谅我,特别是一个主教派myserver
反对el波7867
我的档案里有中
En una carpet denominada数据
:
hdfs: / / myserver: 7867 /数据/中
El número de puerto especificado debe concidir con El número de puerto establecido en la configuración de HDFS。
Antes de leer desde HDFS, utilice la funciónsetenv
建立一个对应的变量,然后安装Hadoop。我们必须要有一张实际的地毯。
Hadoop v1 solo:建立变量HADOOP_HOME
.
Hadoop v2单独:建立变量HADOOP_PREFIX
.
如果我们能在Hadoop v1和Hadoop v2中建立变量,那么我们就能在Hadoop v2中建立变量HADOOP_HOME
yHADOOP_PREFIX
,建立变量MATLAB_HADOOP_INSTALL
.
因此,我们可以用这个函数来建立变量HADOOP_HOME
.hadoop-folder
把地毯放在安装Hadoop的地方/ mypath /
这是一张地毯。
setenv(“HADOOP_HOME”、“/ mypath /hadoop-folder');
如果你在Cloudera的Hortonworks中使用HDFS的话®,不存在确定变量的方法HADOOP_HOME
oHADOOP_PREFIX
.MATLAB asigna automáticamente estas variables de entrorno al utilizar lodos perimetrales de Hortonworks o Cloudera的应用。
Al leer desde HDFS o leer archivos de secuencia localmente, la función数据存储
骆驼al第一javaaddpath
.我的朋友有以下几点:
最后定义了Java的所有类别®文件的定义为dinámica
消去变量的所有变量的空间
你可以把所有的脚本都写下来,你可以把所有的脚本都写下来
如果我们要消除这些变量,los archivos de código或者los archivos MEX persistentes, utilice la funciónmlock
.
我不同意你的意见tabularTextDatastore
在ubicación de HDFS中描述数据。Utilice脂肪酸的写
请在Hadoop分布式档案系统中描述您的分布式文件。Al llamar a esta función en un arreglo to o distribuido, debe espectla ruta complete a una carpet HDFS。El siguiente ejemplo muestra cómo leer datos tabulares de HDFS en un arereglo alto, preprocesarlos eliminando las entradas ausentes y clasificándolos, y luego volver a escribirlos en HDFS。
ds = tabularTextDatastore('hdfs://myserver/some/path/dataset/ airlinessmall .csv',…'TreatAsMissing', 'NA', 'SelectedVariableNames', {'ArrDelay'});tt =高(ds);tt = sortrows (rmmissing (tt));写(“hdfs: / / myserver /一些/道路/ preprocessedData / ', tt);
把它转到另一个地方,用función数据存储
.
ds =数据存储(hdfs: / / myserver /一些/道路/ preprocessedData / ');tt =高(ds);
数据存储
|tabularTextDatastore
|写
|imageDatastore
|imread
|imshow
|javaaddpath
|mlock
|setenv