主要内容

La traducción de esta página está obsoleta。Haga clic aquí para ver la última versión en inglés。

Trabajar con datos remotos

Puede leer y escribir datos desde una ubicación remota con las funciones y los objects de MATLAB®，档案馆和阿尔古斯天体网站almacén。Estos ejejores muestran cómo配置，在远处的ubicacaciones和las siguentes平台上的almacenamiento enla nube:

  • Amazon S3™(简单存储服务)

  • Azure®Blob存储(前conocido como Windows Azure®存储块[WASB])

  • 档案分发系统Hadoop®(HDFS™)

Amazon S3

MATLAB le permite utilizar Amazon S3 como servicicio web de almacenamiento de archivos online ofrecido por Amazon web Services。关于ubicación关于资料，关于完整的关于档案的，关于中间的，关于本地的统一的，关于格式的

s3: / /bucketname/path_to_file

bucketname我是竞争者的名字path_to_file我们的路和档案和地毯。

Amazon S3比例和数据través服务界面网站。Puede utilitzar un桶como竞争者para almacenar对象在Amazon S3。

Configurar acceso

Para trabajar con datos remotos en Amazon S3, debe configuration el acceso primero:

  1. Regístrese para obtener una cuenta raíz de Amazon Web Services (AWS)。Consulte亚马逊网络服务:cuenta．

  2. Con su cuenta raíz de AWS, cree un usuario de IAM (Administración de identidades y accesos)。ConsulteCreación AWS的不寻常之处．

  3. 这是一个秘密的秘密，这是一个秘密的秘密。ConsulteAdministración我的日常生活．

  4. 配置AWS安全人员接入设备和密码región AWS安全人员接入中间línea AWS安全人员https://aws.amazon.com/cli/．另一种形式，配置直接变量和中间变量setenv：

    • AWS_ACCESS_KEY_IDyAWS_SECRET_ACCESS_KEY:亚马逊服务的自由和许可S3 (generó este par de clave de accesso en el paso 3)。

    • AWS_DEFAULT_REGION(可选):seleccione la región geográfica del bucket。英勇的可变的必然的决定automáticamente，必须的必然的必然的配置手工。

    • AWS_SESSION_TOKEN(可选):特别代币sesión临时信用工具，autenticación联邦AWS®．

Si utilza并行计算工具箱™，debe一个安全的方法来解决集群的配置问题。在客户和工人群体中建立的变量EnvironmentVariables在parpool，批处理，createJobo en el Administrador de perfiles de cluster。

Leer datos deAmazon S3

我的朋友，我的朋友cómo我们反对ImageDatastorepara leer una imagen específica de Amazon S3 y luego mostrar la imagen en la pantalla。

setenv(“AWS_ACCESS_KEY_ID”、“YOUR_AWS_ACCESS_KEY_ID”);setenv(“AWS_SECRET_ACCESS_KEY”、“YOUR_AWS_SECRET_ACCESS_KEY”);ds = imageDatastore('s3://bucketname/image_datastore/jpegfiles'，…' inclesubfolders '， true， 'LabelSource'， 'foldernames');Img = ds.readimage(1);imshow (img)

描述datos enAmazon S3

我的朋友，我的朋友cómo我们反对tabularTextDatastorepara leer datos tabulares de Amazon S3 en un arreglo alto, pre - procesarlos elimindo las entradas ausentes y clasificándolos, y luego volver a escribirlos en Amazon S3。

setenv(“AWS_ACCESS_KEY_ID”、“YOUR_AWS_ACCESS_KEY_ID”);setenv(“AWS_SECRET_ACCESS_KEY”、“YOUR_AWS_SECRET_ACCESS_KEY”);ds = tabularTextDatastore('s3://bucketname/dataset/ airlinsmall .csv'，…'TreatAsMissing'， 'NA'， 'SelectedVariableNames'， {'ArrDelay'});Tt =高(ds);Tt = sortrows(rmmissing(Tt));写(“s3: / / bucketname / preprocessedData /”,tt);

Para volver a leer los datos altos, utilice la función数据存储．

ds = datastore('s3://bucketname/preprocessedData/');Tt =高(ds);

AzureBlob存储

MATLAB le permite utility Azure Blob存储para almacenamiento de archivos在线。关于ubicación关于资料，关于完整的关于档案的，关于中间的，关于本地的统一的，关于格式的

wasbs: / /container@account/path_to_file/file.ext

container@account我是竞争者的名字path_to_file我们的路和档案和地毯。

Azure比例和数据través服务界面网站。Puede utilitzar un团para almacenar archivos de datos en AzureConsulteIntroduccion一AzurePara obtener más información。

Configurar acceso

在蔚蓝的大地上，在蔚蓝的大地上，在蔚蓝的大地上，在蔚蓝的大地上，

  1. Regístrese para obtener una cuenta de Microsoft Azure y consulteCuenta de Microsoft Azure．

  2. 定义信用autenticación建立准确的条件中间的变量setenv：

    • MW_WASB_SAS_TOKEN: autenticación mediante firma de accesso partido (SAS)

      Obtenga una SAS。Para obtener información, consulte la sección«Obtención de la SAS Para un contenedor de blobs»enAdministración de recursos de Azure Blob Storage con el Explorador de Storage．

      enmatlab，建立MW_WASB_SAS_TOKEN欧洲安全顾问协会。比如:

      setenv MW_WASB_SAS_TOKEN '?圣= 2017 - 04 - 11 - t09 % 3 a45 % 3 a00z&se = 2017 - 05 - 12 - t09 % 3 a45 % 3 a00z&sp = rl&sv = 2015 - 12 - 11 - sr = c&sig = E12eH4cRCLilp3Tw % 2 bardyyr8rrumw45wbxhwpmzsrce % 3 d '

      Debe建立esta cadena como令牌de SAS válido generado desde la interfaz de usuario web o el Explorador de Azure存储。

    • MW_WASB_SECRET_KEY: autenticación中间una de las DOS claves secretas de la cuenta

      储存，秘密，许可和行政特权的权利。一种基于MATLAB的基于SAS变量建立的基于变量建立的基于MATLAB的基于变量建立的基于变量建立的基于变量建立的基于变量建立的基于变量建立的基于变量建立的基于变量建立的基于变量建立的基于变量建立的基于变量建立的基于变量建立的基于变量建立的基于变量建立的基于变量建立的基于变量建立的基于函数MW_WASB_SECRET_KEY．比如:

      setenv MW_WASB_SECRET_KEY '1234567890ABCDEF1234567890ABCDEF1234567890ABCDEF'

Si utilza并行计算工具箱，获取复制的变量，在客户端，在集群建立中EnvironmentVariables在parpool，批处理，createJobo en el Administrador de perfiles de cluster。

Para obtener más información, consulteUso de Azure HDInsight存储集群．

Leer datos deAzure

Para leer datos de una ubicación de Azure Blob Storage, especque la ubicación con la siguiente sintaxis:

wasbs: / /container@account/path_to_file/file.ext

container@account我是竞争者的名字path_to_file我们的路和档案和地毯。

Por ejemplo, si tiene un archiivoairlinesmall.csv在地毯上/航空公司En una cuenta de almacenamiento de pruebawasbs: / / blobContainer@storageAccount.blob.core.windows.net/， puede crear UN almacén de datos mediante:

location = 'wasbs://blobContainer@storageAccount.blob.core.windows.net/airline/airlinesmall.csv';
ds = tabularTextDatastore(location， 'TreatAsMissing'， 'NA'，…SelectedVariableNames, {' ArrDelay '});

蔚蓝的公用设施cálculos关于自由的数据，自由的讲座，mapreduce深度学习。Por ejemplo, cree un objtoImageDatastore， lea una imagen específica del almacén de datos y luego muestre la imagen en la pantalla。

setenv(“MW_WASB_SAS_TOKEN”、“YOUR_WASB_SAS_TOKEN”);ds = imageDatastore('wasbs://YourContainer@YourAccount.blob.core.windows.net/'，…' inclesubfolders '， true， 'LabelSource'， 'foldernames');Img = ds.readimage(1);imshow (img)

描述datos enAzure

Este ejemplo muestra cómo蔚蓝的数据表在上面没有物体tabularTextDatastore，前过程中消除的las entradas ausentes clasificándolos, y luego volver a escribirlos en Azure。

setenv(“MW_WASB_SAS_TOKEN”、“YOUR_WASB_SAS_TOKEN”);ds = tabularTextDatastore('wasbs://YourContainer@YourAccount.blob.core.windows.net/dataset/airlinesmall.csv'，…'TreatAsMissing'， 'NA'， 'SelectedVariableNames'， {'ArrDelay'});Tt =高(ds);Tt = sortrows(rmmissing(Tt));写(wasbs: / / YourContainer@YourAccount.blob.core.windows.net/preprocessedData/, tt);

Para volver a leer los datos altos, utilice la función数据存储．

ds = datastore('wasbs://YourContainer@YourAccount.blob.core.windows.net/preprocessedData/');Tt =高(ds);

分配档案系统Hadoop

特别是la ubicación de los datos

MATLAB le permite utilization el sistema de archivos distribuido de Hadoop (HDFS) como servicicio web de almacenamiento de archivos online。详细资料ubicación详细资料，详细资料，完整的档案，中间的，本地化的，统一的递归(URL)和详细资料:

hdfs: /path_to_file
hdfs: / / /path_to_file
hdfs: / /主机名/path_to_file

主机名我是主人的仆人path_to_file我们的路和档案和地毯。Especificar厄尔主机名es opcional。没有什么特别的主机名， Hadoop应用程序的命名主机预先确定的方法，instalación del sistema de archivos distribuido Hadoop (HDFS) en MATLAB。

为了保护我们的部队almacén为了保护我们的档案，中，绿地毯大羊驼数据联合国宗主国myserver：

  • ds = tabularTextDatastore(“hdfs: / / /数据/中”）
  • ds = tabularTextDatastore(hdfs: / / myserver /数据/中）

这是特别的主机名与此相对应的是我的名字定义了我的命运fs.default.namezen los archivos de configuración XML de Hadoop del Hadoop集群。

De forma optional, puede incluir el número De puerto。Por ejemplo, esta ubicación especifica un host denominadomyserver港城7867， que continene el archiivo中一种面额的地毯数据：

hdfs: / / myserver: 7867 /数据/中

El número de puerto especificado debe cocidir con El número de puerto establecido en la configuración de HDFS。

建立变量Hadoop

Antes de leer desde HDFS, utilice la funciónsetenvpara establecer la variable de entorno通讯员para la地毯donde se haya安装Hadoop。这是一种实际的地毯。

  • Hadoop v1单独:建立一个变量de entrornoHADOOP_HOME．

  • Hadoop v2 solo:建立变量HADOOP_PREFIX．

  • Si trabaja tanto con Hadoop v1 como con Hadoop v2 o Si no se建立内部变量HADOOP_HOMEyHADOOP_PREFIX，建立变量MATLAB_HADOOP_INSTALL．

我有办法，我有办法建立一个变量HADOOP_HOME．hadoop-folderes la carpet en la que se ha installado Hadoop y/ mypath /这是一种dicica地毯。

setenv(“HADOOP_HOME”、“/ mypath /hadoop-folder”);

拿督HDFSzh Hortonworks oCloudera

在Hortonworks和Cloudera上提供实际的HDFS数据®，没有什么可以确定的变量HADOOP_HOMEoHADOOP_PREFIX．MATLAB asigna automáticamente云计算中应用云计算的计算变量。

Evitar la eliminación de código de la记忆

Al leer desde HDFS o leer archivos de secuencia localmente, la función数据存储美洲驼javaaddpath．Este comando hace lo siguiente:

  • 爪哇的Elimina las definiciones de todas las classes de Java®分类档案定义dinámica

  • 消元变量和全局变量，空间全局变量

  • 回忆的记忆，回忆的记忆，回忆的记忆

Para evitar que se eliminen las variables, los archivos de código o los archivos MEX persistentes, utilice la funciónmlock．

描述datos enHDFS

Este ejemplo muestra cómo utilitzar un客体tabularTextDatastorepara escribir datos en una ubicación de HDFS。使用la función写para escribir los arreglos altos y distribuidos en un sistema de archivos distribuido Hadoop。Al llamar a esta función en un arreglo alto o distribuido, debe speciificla ruta completa a una carpet HDFS。El siguiente ejemplo muestra cómo leer datos tabulares de HDFS en un arreglo alto, preprocesarlos eliminando las entradas ausentes y clasificándolos, y luego volver a escribirlos en HDFS。

ds = tabularTextDatastore('hdfs://myserver/some/path/dataset/ airlinsmall .csv'，…'TreatAsMissing'， 'NA'， 'SelectedVariableNames'， {'ArrDelay'});Tt =高(ds);Tt = sortrows(rmmissing(Tt));写(“hdfs: / / myserver /一些/道路/ preprocessedData / ', tt);

Para volver a leer los datos altos, utilice la función数据存储．

ds = datastore('hdfs://myserver/some/path/preprocessedData/');Tt =高(ds);

Consulte也

||||||||

特马relacionados