hkaneのLab Notebook: 4月 2016

2016年4月22日金曜日

AWS S3とフォルダを同期する

AWSコマンドラインインターフェースの利用

AWS Command Line Interface　OS Xで設定

以下のページを参考にしました

http://docs.aws.amazon.com/cli/latest/userguide/installing.html

Python softwareのpipを利用してインストールしますが、Python 2 version 2.6.5+ あるいは Python 3 version 3.3+が必要

$ sudo pip install awscli --ignore-installed six

AWS CLI の設定

aws configure コマンドを使って、セットアップ

以下のページを参考にしました。

$ aws configure

AWS Access Key ID [None]: AKIAI**********

AWS Secret Access Key [None]: wJalrXUtn*********

Default region name [None]: ap-northeast-1

Default output format [None]: json

Default region name [None]は以下のページから確認します。

Asia Pacific (Tokyo)なのでap-northeast-1を入力

http://docs.aws.amazon.com/general/latest/gr/rande.html#s3_region

Default output format は jsonを指定

LinuxからAWS S3へのアップロードは以下のページを参考にしました。
http://www.checksite.jp/amazon-s3-linux-filemanage/

S3上のフォルダの中を確認

$ aws s3 ls s3://バケット名/フォルダ名/

アップロードは「sync」コマンドを使って、ローカルフォルダと同期する形で

$ aws s3 sync test_folder/ s3://バケット名/フォルダ名/

「cp」コマンドを使って、ファイルのコピーも可能

$ aws s3 cp test.txt s3://バケット名/フォルダ名/

crontabコマンドで定期的にフォルダの中身を更新することも可能のようですが、まだ設定していません...

この内容は2016.4.22現在の内容です。

更新などがある可能性がございますので、実行時にはご注意ください。

2016年4月2日土曜日

シェルスクリプトで文字列をランダムに並び替え

1)配列を入力

hkane$ array=(A1 A11 B54 C65 A23 A45 A33 A65 A78)

2) 配列をまずは配列を表示

全要素を改行区切りで配列に設定します

for item in "${array[@]}"; do echo "$item"; done

以下のように表示されます。

A11

B54

C65

A23

A45

A33

A65

A78

3) ランダムに並べ替え

sortコマンドに-Rオプションがなかったため、テキストファイルをランダムに並べ替えるワンライナーを参考にして並び替え

while read x; do echo -e "$RANDOM\t$x"; done | sort -k1,1n | cut -f 2-

以下のように表示されます。

C65

A23

A33

A11

A65

A78

B54

A45

4)元のarrayに戻します。

array=(`for item in "${array[@]}"; do echo "$item"; done | while read x; do echo -e "$RANDOM\t$x"; done | sort -k1,1n | cut -f 2-`)

5)arrayを表示させて確認します。

echo "${array[@]}"

A33 A45 A11 C65 A1 B54 A23 A78 A65

ランダムに配列を並べ替えて、5つだけ取り出す場合には

array=(`for item in "${array[@]}"; do echo "$item"; done | while read x; do echo -e "$RANDOM\t$x"; done | sort -k1,1n | cut -f 2-|head -n 5`)

と、head コマンドで指定可能です。

以下のページを参考にさせて頂きました。

ありがとうございます。

揮発性のメモ

テキストをランダムにソートする

http://d.hatena.ne.jp/iww/20130202/sort

配列の要素でループする

http://shellscript.sunone.me/array.html#配列の要素でループする:8177e845bec4a15c29be1b787e514e77