主要内容

La traducción de esta página está obsoleta。Haga clic aquí para ver la última versión en inglés。

我要走了

我们可以把数据写在ubicación的函数中,在MATLAB的对象中®,我们的文件E/S的功能和almacén是一样的。我们可以在cómo的配置中,把它描述为在我们的平台上和在我们的平台上:

  • Amazon S3™(简单存储服务)

  • Azure®Blob Storage (Windows Azure的前身®存储Blob (WASB))

  • 分布式Hadoop系统®(HDFS™)

Amazon S3

MATLAB允许您使用Amazon S3 como servicio web de almacenamiento de archivos online ofrecido por Amazon web Services。既要明确ubicación de los datos,又要明确la ruta complete a los archivos o las carpetas mediante un localizador unime de recursos (URL) con el formato

s3: / /bucketname/path_to_file

bucketname这是被竞争者y的数path_to_file这是las carpetas的档案。

Amazon S3Proporciona almacenamiento de datos a través de interfaces de services web。喝水可以utilizar联合国在Amazon S3中,como contenedor para almacenar objects。

Configurar acceso

您可以在Amazon S3上进行配置:

  1. Regístrese para obtener una cuenta raíz de Amazon Web Services (AWS)。Consulte亚马逊Web服务:cuenta

  2. Con su cuenta raíz de AWS, cree un usuario de IAM (Administración de identidades y accesos)。ConsulteCreación de un usuario de IAM en sucuenta de AWS

  3. 一般来说,一个人应该是一个人,一个人应该是一个人,一个人应该是一个人。ConsulteAdministración de las claves de acco de los usuarios de IAM

  4. 在AWS的接入处配置设备,在AWS的接入处región的中间接口línea的接入处https://aws.amazon.com/cli/.在备选形式中,配置中间变量的方向性setenv

    • AWS_ACCESS_KEY_IDyAWS_SECRET_ACCESS_KEY:用户可以向Amazon S3提供服务。(generó用户可以向Amazon S3提供服务。)

    • AWS_DEFAULT_REGION(可选):select cione la región geográfica del bucket。这个变量的价值是确定的automáticamente,但必须在配置手册中注明。

    • AWS_SESSION_TOKEN(可选):sesión在时间方面的特殊凭证,可以在AWS的autenticación联邦上使用®

如果你使用并行计算工具箱™,那么你就可以使用它来配置S3的服务。把客户端上的变量和建立集群的工作人员联系起来EnvironmentVariablesparpool批处理createJob我是集群文件管理员。

送秋波拿督德Amazon S3

他说:“我们反对。ImageDatastore我们可以把它放在específica的亚马逊S3上,我们可以把它放在pantalla上。

setenv(“AWS_ACCESS_KEY_ID”、“YOUR_AWS_ACCESS_KEY_ID”);setenv(“AWS_SECRET_ACCESS_KEY”、“YOUR_AWS_SECRET_ACCESS_KEY”);ds = imageDatastore('s3://bucketname/image_datastore/jpegfiles',…' inclesubfolders ', true, 'LabelSource', 'foldernames');img = ds.readimage (1);imshow (img)

Escribir拿督在Amazon S3

他说:“我们反对。tabularTextDatastore在亚马逊S3的表格中,我们可以先把它放在上面,然后再把它放在clasificándolos上,然后再把它放在亚马逊S3上。

setenv(“AWS_ACCESS_KEY_ID”、“YOUR_AWS_ACCESS_KEY_ID”);setenv(“AWS_SECRET_ACCESS_KEY”、“YOUR_AWS_SECRET_ACCESS_KEY”);ds = tabularTextDatastore('s3://bucketname/dataset/ airlinessmall .csv',…'TreatAsMissing', 'NA', 'SelectedVariableNames', {'ArrDelay'});tt =高(ds);tt = sortrows (rmmissing (tt));写(“s3: / / bucketname / preprocessedData /”,tt);

把它转到另一个地方,用función数据存储

ds =数据存储(s3: / / bucketname / preprocessedData / ');tt =高(ds);

AzureBlob存储

MATLAB允许利用Azure Blob Storage para el almacenamiento de archivos在线。既要明确ubicación de los datos,又要明确la ruta complete a los archivos o las carpetas mediante un localizador unime de recursos (URL) con el formato

wasbs: / /container@account/path_to_file/file.ext

container@account这是被竞争者y的数path_to_file这是las carpetas的档案。

AzureProporciona almacenamiento de datos a través de interfaces de services web。喝水可以utilizar联合国蓝色的旁蜡染档案。ConsulteIntroduccion一AzurePara obtener más información。

Configurar acceso

我们可以在Azure上进行操作,可以配置为最基本的:

  1. Regístrese para obtener una cuenta de Microsoft Azure y consultCuenta de Microsoft Azure

  2. 定义我们的证书autenticación建立精确的变量的中间值setenv

    • MW_WASB_SAS_TOKEN: autenticación mediante firma de accespartido (SAS)

      Obtenga una SAS。Para obtener información,咨询la sección«Obtención de la SAS Para un contenedor de blobs»enAdministración de recursos de Azure Blob Storage con el el Explorador de Storage

      MATLAB, establezcaMW_WASB_SAS_TOKEN在SAS的咨询中。比如:

      setenv MW_WASB_SAS_TOKEN”?圣= 2017 - 04 - 11 - t09 % 3 a45 % 3 a00z&se = 2017 - 05 - 12 - t09 % 3 a45 % 3 a00z&sp = rl&sv = 2015 - 12 - 11 - sr = c&sig = E12eH4cRCLilp3Tw % 2 bardyyr8rrumw45wbxhwpmzsrce % 3 d '

      我们应该在Azure存储的浏览器上建立SAS válido的通用网络。

    • MW_WASB_SECRET_KEY: autenticación在上面的中间有一个分泌

      储存秘密的人应享有管理员的特权。我们可以用MATLAB来说明如何建立变量MW_WASB_SECRET_KEY.比如:

      setenv MW_WASB_SECRET_KEY“1234567890 abcdef1234567890abcdef1234567890abcdef”

当使用并行计算工具箱时,可以将客户端上的变量与集群建立的工作人员进行比较EnvironmentVariablesparpool批处理createJob我是集群文件管理员。

Para obtener más información,咨询Uso de Azure Storage con cluster de Azure HDInsight

送秋波拿督德Azure

在Azure Blob Storage中查看ubicación的数据,具体为ubicación con la siguiente sintaxis:

wasbs: / /container@account/path_to_file/file.ext

container@account这是被竞争者y的数path_to_file这是las carpetas的档案。

请给我一份档案airlinesmall.csven una carpeta/航空公司你可以用你的眼睛看你的眼睛wasbs: / / blobContainer@storageAccount.blob.core.windows.net/,你可以在UN almacén de datos mediante:

位置=“wasbs: / / blobContainer@storageAccount.blob.core.windows.net/airline/airlinesmall.csv”;
ds = tabularTextDatastore(location, 'TreatAsMissing', 'NA',…)SelectedVariableNames, {' ArrDelay '});

请大家用蓝色来做我们的cálculos请大家承认,直接讲课,mapreduce这就是深度学习。请原谅,我反对ImageDatastore, lea una imagen específica del almacén de datos y luego muestre la imagen en en pantalla。

setenv(“MW_WASB_SAS_TOKEN”、“YOUR_WASB_SAS_TOKEN”);ds = imageDatastore('wasbs://YourContainer@YourAccount.blob.core.windows.net/',…' inclesubfolders ', true, 'LabelSource', 'foldernames');img = ds.readimage (1);imshow (img)

Escribir拿督在Azure

我希望大家都能看到我们的图表,我们不反对tabularTextDatastore在这里,我们可以先把它去掉,然后在clasificándolos,然后把它去掉。

setenv(“MW_WASB_SAS_TOKEN”、“YOUR_WASB_SAS_TOKEN”);ds = tabularTextDatastore('wasbs://YourContainer@YourAccount.blob.core.windows.net/dataset/airlinesmall.csv',…'TreatAsMissing', 'NA', 'SelectedVariableNames', {'ArrDelay'});tt =高(ds);tt = sortrows (rmmissing (tt));写(wasbs: / / YourContainer@YourAccount.blob.core.windows.net/preprocessedData/, tt);

把它转到另一个地方,用función数据存储

ds =数据存储(“wasbs: / / YourContainer@YourAccount.blob.core.windows.net/preprocessedData/”);tt =高(ds);

分布档案系统Hadoop

特别是la ubicación de los datos

MATLAB允许利用Hadoop (HDFS)文件系统在线归档。我们可以在ubicación de los datos上详细说明,也可以在URL上详细说明完整的la la carpetas mediante un localizador uniform de recursos的los archivos o la localizador uniform de recursos上详细说明格式:

hdfs: /path_to_file
hdfs: / / /path_to_file
hdfs: / /主机名/path_to_file

主机名这是主机和服务器的编号path_to_file这是las carpetas的档案。Especificar厄尔主机名es opcional。这是不具体的主机名, Hadoop在MATLAB中使用了主机预先确定数,并将其与instalación的分布式Hadoop (HDFS)文件系统相关联。

请大家把我们的名字写进almacén的档案里,, en una carpeta llamada数据这是联合国的主教派myserver

  • ds = tabularTextDatastore (“hdfs: / / /数据/中”
  • ds = tabularTextDatastore (hdfs: / / myserver /数据/中

这是具体情况主机名,我们可以给它下个定义fs.default.nameen los archivos de configuración XML de Hadoop del cluster de Hadoop。

形式可选,请包括número。请原谅我,特别是一个主教派myserver反对el波7867我的档案里有En una carpet denominada数据

hdfs: / / myserver: 7867 /数据/中

El número de puerto especificado debe concidir con El número de puerto establecido en la configuración de HDFS。

建立一个变量Hadoop

Antes de leer desde HDFS, utilice la funciónsetenv建立一个对应的变量,然后安装Hadoop。我们必须要有一张实际的地毯。

  • Hadoop v1 solo:建立变量HADOOP_HOME

  • Hadoop v2单独:建立变量HADOOP_PREFIX

  • 如果我们能在Hadoop v1和Hadoop v2中建立变量,那么我们就能在Hadoop v2中建立变量HADOOP_HOMEyHADOOP_PREFIX,建立变量MATLAB_HADOOP_INSTALL

因此,我们可以用这个函数来建立变量HADOOP_HOMEhadoop-folder把地毯放在安装Hadoop的地方/ mypath /这是一张地毯。

setenv(“HADOOP_HOME”、“/ mypath /hadoop-folder');

拿督HDFSen Hortonworks oCloudera

如果你在Cloudera的Hortonworks中使用HDFS的话®,不存在确定变量的方法HADOOP_HOMEoHADOOP_PREFIX.MATLAB asigna automáticamente estas variables de entrorno al utilizar lodos perimetrales de Hortonworks o Cloudera的应用。

Evitar la eliminación de código de la memoria

Al leer desde HDFS o leer archivos de secuencia localmente, la función数据存储骆驼al第一javaaddpath.我的朋友有以下几点:

  • 最后定义了Java的所有类别®文件的定义为dinámica

  • 消去变量的所有变量的空间

  • 你可以把所有的脚本都写下来,你可以把所有的脚本都写下来

如果我们要消除这些变量,los archivos de código或者los archivos MEX persistentes, utilice la funciónmlock

Escribir拿督在HDFS

我不同意你的意见tabularTextDatastore在ubicación de HDFS中描述数据。Utilice脂肪酸的请在Hadoop分布式档案系统中描述您的分布式文件。Al llamar a esta función en un arreglo to o distribuido, debe espectla ruta complete a una carpet HDFS。El siguiente ejemplo muestra cómo leer datos tabulares de HDFS en un arereglo alto, preprocesarlos eliminando las entradas ausentes y clasificándolos, y luego volver a escribirlos en HDFS。

ds = tabularTextDatastore('hdfs://myserver/some/path/dataset/ airlinessmall .csv',…'TreatAsMissing', 'NA', 'SelectedVariableNames', {'ArrDelay'});tt =高(ds);tt = sortrows (rmmissing (tt));写(“hdfs: / / myserver /一些/道路/ preprocessedData / ', tt);

把它转到另一个地方,用función数据存储

ds =数据存储(hdfs: / / myserver /一些/道路/ preprocessedData / ');tt =高(ds);

Consulte也

||||||||

特马relacionados