Linux Memo

【csv ファイルのソート】1-9-2023

いわゆる「実用プログラム」では csv ファイルをよく使います。Python では pandas を使って csv ファイルをデータベース化して使うことができますが、小規模なプログラムでは、そこまでしなくても、csv.reader() で csv のデータを読み込んで処理すればよいと思います。
そして、データをソートする場合、ソートの基準になるコラムを選ぶことができたら便利です。私は、次のようにして、コラムのどれかを指定して、それを基準にソートするプログラムを書きました。扱う input.csv ファイルはつぎのようになっているとします。
```
shouta@shoufukutei.com,Yuji,Tanoshita
kikuou@hayashiya.com,Hiroshi,Toyota
takao@yamada.com,Takao,Yamada
```
次のようにデータを得ました。
```
import csv
with open('input.csv') as inp:
    rows = csv.reader(inp)
```
rows は
```
[[['shouta@shoufukutei.com'],['Yuji'],['Tanoshita']],
[['kikuou@hayashiya.com'],['Hiroshi'],['Toyota']],
[['takao@yamada.com'],['Takao'],['Yamada']]]
```
というふうに、配列の中に配列が入っていますので、
```
    for row in rows:
        sort_index = row[sort_key]
```
で、ソートの基準になるコラムを指定し、それをソートインデックスとしました。そして、配列を文字列に変換する関数 join() を使って、data は data = [] として初期化しておいた上で、ソートインデックスとデータの文字列をそこに格納しました。
```
        row_string = ','.join(row)
        data.append([sort_index, row_string])
```
ソートした結果は次のようにして取り出しました。
```
for items in sorted(data):
    item = items[1]
```
sort_key = 1 とすると、Hiroshi, Takao, Yuji の順にソートされるので、データラインは次のように並びかわります。
```
kikuou@hayashiya.com,Hiroshi,Toyota
takao@yamada.com,Takao,Yamada
shouta@shoufukutei.com,Yuji,Tanoshita
```
とまあ、手作業的なことをしたのですが、sorted には、key オプションがついているので、これを使えば、もっと簡単にソートができることが分かりました。まず、データを扱いやすいようにするため、csv ファイルのデータを配列 data に格納しました。
```
import csv
data = []
with open('input.csv') as inp:
    rows = csv.reader(inp)
    for row in rows:
        data.append(row)
```
そして lambda 式をつかって、ソート・キーを指定しました。lambda 式は、引数と返り値をコロン（:）で区切って記述するもので、def の代わりに使えます。
```
data2 = sorted(data, key=lambda items: items[2])
```
たった一行で、ラストネーム順にソートできました。Python らしい記述になりました。

【AppImage ランチャー】1-16-2023

AppImage ファイルはインストール不要の Linux アプリです。https://www.appimagehub.com/browse に数多くのアプリがありますが、すべてが作動するとはかぎりません。私はユーザディレクトリーに AppImage 用のフォルダーをつくり、そこに実行ファイルを入れてあり、そこからアプリを起動していましたが、 AppImageLauncher を github で見つけたので、使ってみました。
これは、~/.local/share/applications/ に .desktop ファイルを作るもので、これらはアプリケーション・メニューに登録されますので、デスクトップメニューから AppImage の実行ファイルを呼び出すことができるようになります。
このアプリのいいところは、AppImage 用のフォルダーに AppImage ファイルを置くと、自動的に .desktop ファイルを作成してくれることです。アプリのカテゴリーも、適切に分類してくれました。

【PyCharm を使ってみる】1-23-2023

PyCharm はエディタに記入したコードを即実行して結果を確認できる、いわゆる IDE（Integrated Development Environment）、統合開発環境の一つです。IDE にはさまざまあるのですが、Python に特化された PyCharm を snap からダウンロードして使ってみました。
インストールし、起動してから、「設定」→「プラグイン」で日本語プラグインを入れて、日本語化しました。また、エディターのフォント・サイズを大きくしました。PyCharm では、GUI のフォント・サイズも変えることができたので、これも大きくしました。細部に至るまで設定できるのが気に入りました。
通常は Project フォルダー内にいくつかのファイルを作り、ひとつのプロジェクトを作りあげていくのですが、私の場合は、アプリの「開発」などをやっているわけでなく、自分で使うためのツールのスクリプトを書いているだけです。ですから、ファイルマネージャからエディタパネルにファイルをドロップして、その動作を確かめるという方法で PyCharm を使っています。エディタとターミナルを行き来しなくて済むのは便利です。

【Jupyter Notebook を使ってみる】1-30-2023

PyCharm がよくできていたので、Chromebook にもインストールしてみたのですが、重くて使いものにならなかったので、Chromebook には Jupyter Notebook をインストールしました。
インストールには pip を使いました。
```
$ pip install notebook
```
とするだけです。起動はターミナルから
```
$ jupyter notebook
```
と記入して、行いました。
Jupyter Notebook ではブロックごとに動作を確認できるのが便利でした。しかし、Notebook 形式でファイルの保存はできても、Python スクリプトだけを保存することができず、他の人にスクリプトを示すような用途には向いていますが、IDE としては使いやすいとは思えませんでした。

【clipboard-to-file を使う】2-6-2023

コピー機能でクリップボートに取り込んだテキストや画像をファイルに保存したいときは、通常、エディタや画像アプリを開いて、そこにペーストしてから保存します。しかし、clipboard-to-file をファイルマネージャに組み込むと、ファイルマネージャの背景でマウスを右クリックすると、サブメニューにに「clipboard-to-file」の項目が加えられ、それをクリックして、テキスト・ファイルや画像ファイルを、そのフォルダ内に作成してくれます。ファイル名は Clipboard.txt、Clipboard-2.png などのように自動的に割り振られます。
残念なことは、私が普段使っている Thunar には対応していません。それで、nautilus をインストールして使っています。Thunar に対応してくれるようになるのを待っています。

【geany で IDE】2-13-2023

PyCharm も Jupyter Notebook も Chromebook では思い通りに使うことができなかったので、geany を試してみました。geany は昔からエディタとして使っていましたが、IDE としては使ってきませんでした。試しに、Python ファイルを開いて「現在のファイルを実行/表示（Execute）」アイコンをクリックしてみましたが、ターミナルが起動しませんでした。
メニューを「編集」→「設定」→「ツール」とたどって、「端末」の項目を見ると x-terminal-emulator -e "/bin/sh %c" となっていました。ChromeOS の Linux ではデスクトップ環境が作られていませんので、x-terminal-emulator は無効です。それで、使い慣れた xfce4-terminal を apt でインストールし、「端末」の項目に xfce4-terminal を指定しました。それから Execute をクリックすると、端末が開いて、プログラムを実行することができました。エディタと端末を行き来する必要がないだけのことですが、結構便利です。

【Qnap TS453D の初期化】2-20-2023

2012年に Synology NAS DS111 を買って、ハードディスクのトラブルもなく、今まで使い続けてきました。しかし、インターネットをファイバー回線にアップグレードし、ギガバイトのネットワークが使えるようになったので、それに見合った NAS に買い替えようと、昨年から物色していました。Synology にするか Qnap にするか迷いましたが、Qnap の 4ベイ NAS が、いつもの B&H でセール中だったので、思い切って Qnap にしました。
まずは、4ベイのうち 3TB ハードディスクをトレイ #1（向かって左端）に装着し、ゲートウェーの LAN ポートと NAS の LAN ポートとを接続しました。ところが、NAS のネットワークカードのライトがつきませんでした。NAS のネットワークカードが 2.5G バイト対応なのに、ゲートウェーのほうは 1G バイトなので、規格が合わないのかと思いましたが、下位互換のはずです。それで、1GB 対応の AC ネットワークアダプターを経由して接続したところ、うまく繋がりました。ネットワークカードの件については、あとで Qnap に問い合わせるつもりです。
次に、PC にあらかじめインストールしておいた QFinderPro を起動して、NAS の IP アドレスを取得しました。スマート・インストレーションを使って自動で初期化しました。初期化のステップは次の通りです。
1. ファームウェアの更新
2. ユーザ名とパスワード、タイムゾーンの設定
3. IP アドレスの選択
4. ストレージプール、スナプショット、ボリュームの設定
Qnap の場合、初期化は Synology ほど簡単ではありませんでした。初期化のあと、NAS のアプリ、Qsync Central、myQNAPcloudLink、などをインストールしてローカルデータと NAS のデータをネットワーク越しに同期できるようにしました。これでようやく、文字通りの "NAS" となりました。

【Qnap TS453D での Web サーバー設定】2-27-2023

Qnap NAS を買った理由のひとつは、実用的な Web サーバーを立てることでした。以前の Synology NAS では、Python CGI の動作が遅く、実用にならなかったので、Qnap の Web サーバーに期待していました。結果は、期待どおり、Python CGI がサクサク動いてくれました。
次に NAS の Python を調べてみました。
```
$ ssh penguin@192.168.XXX.XXX (XXX には実際のアドレスの数字が入る)
```
と入力して、NAS のパスワードを入れて、PC から NAS を操作しました。NAS のディレクトリーをたどっていくと /opt/python3/bin/python3.10 があるのを見つけました。PC での Python へのパスは /usr/bin/python なので、これにあわせるため、
```
$ sudo ln -s /opt/python3/bin/python3.10 /usr/bin/python
```
として、リンクを作成しました。これで、PC 側で作成した Python スクリプトは、パスを書き換えることなく、そのまま転送して使えるようになりました。
それから、次のコマンドで apache.conf を開き、
```
sudo vim /usr/local/apache/conf/apache.conf
```
次の部分に ExecCGI を追加しました。
```
<Directory "/share/Web/">
        Options FollowSymLinks MultiViews ExecCGI
        AllowOverride All
        #Order allow,deny
        Require all granted
</Directory>
```
AddHandler はすでに "cgi-script .cgi" と設定されていましたので、そのままにしました。次のコマンドで apache.conf の設定ミスがないかどうか試しました。
```
$ /usr/local/apache/bin/apachectl configtest
```
"OK" が出たので、次のコマンドで apache を再起動して設定を有効にしました。
```
$ sudo /usr/local/apache/bin/apachectl restart
```
localhost で動作確認した cgi-bin ディレクトリーと cgi ファイルを FTP でサーバに転送し、リモート側の cgi-bin ディレクトリーを 775、cgi ファイルを 755 にモード設定して、cgi が動くようにしました。NAS の Python モジュールには cgi モジュールはもちろん、sqlite3 のモジュールも入っていて、PC で sqlite3 を使って作ったプログラムがそのまま使えました。

【ウェブページのアクセス制限】3-6-2023

ウェブページの特定のディレクトリーへのアクセスを制限するには、.htaccess と .htpasswd を使うのが一番簡単です。.htaccess ファイルは次のように書きました。
```
AuthUserFile /share/CACHEDEV1_DATA/Web/admin/.htpasswd
AuthType Basic
AuthName "Password Protected Area"
require valid-user
```
/share/CACHEDEV1_DATA/Web/ が、NAS の Web データ・ディレクトリーで、admin/ はアクセス制限をかけるディレクトリーです。
パスワード・ファイルをつくるコマンドは htpasswd ですが、NAS では、これが
```
/mnt/opt/apache/bin/
```
にありました。それで、次のコマンドでパスワードファイルを作りました。
```
$ /mnt/opt/apache/bin/htpasswd -b -c /share/CACHEDEV1_DATA/Web/admin/.htpasswd {user} {password} 
```
上記の {user} や {password} には、もちろん実際のユーザとパスワードが入ります。また admin/ の部分を変更すれば、どこにでも .htaccess ファイルを置くことができます。

【Qnap NAS シングルディスクから RAID 5 へ】3-13-2023

Qnap NAS は 3TB HDD 1台のシングルディスクでスタートしましたが、4TB の NAS 専用 HDD が 4台手に入りましたので、 12TB のストレージ、4TB のプロテクションの RAID 5 を組むことにしました。まずはシングルから RAID 1 への移行をしました。1番目のスロットにある 3TB HDD はそのままにして、2番目のスロットに新しい 4TB HDD を入れました。NAS がこの HDD を認識して、RAID 1 に自動で移行してくれました。
次に、もとの 3TB HDD を取り出して、新しい 4TB HDD と入れ替えました。これも、NAS が自動認識して RAID 1 の再構築をしてくれました。それぞれの作業は NAS の電源を切らずにでき、RAID の再構築中、WEB サーバーの機能も含め、NAS の機能は、速度が低下することなく使うことができました。
これで 3 TB シングルから 4TB + 4TB の RAID 1 への移行が完了したのですが、RAID 1 から RAID 5 への移行には、その機能を使うボタンを探すのに苦労しました。管理ページのディスクトップにある「ストレージ＆スナップショット」をクリック、サイドメニューの「ストレージ／スナップショット」をクリック、「ストレージ領域」パネルの「管理」をクリック、「ストレージプール1管理」画面の「ストレージプール1の RAID グループ」にある「管理」をクリック、「RAID グループを移行」で、やっとこの機能にたどりつきました。Qnap のインターフェースは「分かりにくい」と言われるのは、こういうことなのだと思いました。
4TB HDD 4台で 12TB のストレージを得られると予想していましたが、システム領域やスナップショット、また、ディスクの使用率の制限（デフォルトで 80％）などがあって実際に得られた容量は 8.16TBでした。もっと効率のよい設定があるのでしょうが、今のところ 8TBでストレージが足らなくなることはないでしょうから、このままで運用していくことにしました。

【Qnap NAS HybridDesk Station】3-20-2023

Qnap NAS には HDMI 端子があります。これをディスプレーにつないでみました。すると、画面に「HDMI ディスプレイアプリケーションをインストールしますか」と表示されました。キーボードとマウスを USB 端子につないで、「インストール」を選びました。ブラウザやビデオプレーヤー、それにオフィス・アプリなどが使えるようです。TV につないで、NAS に保存してあるビデオを観たり、ネット上の動画を観るのに便利なようです。Ubuntu をインストールすれば、NAS 単体で Ubuntu マシーンにもなるようです。

【Qnap Multimedia Console】3-27-2023

Qnap NAS を DLNA サーバーにして TV でムービーを観、インターネットラジオで音楽を聴くことができるようにしました。以前の Synology では Video フォルダーにファイルを入れるだけで良かったのですが、Qnap の場合は、まず Multimedia Console をインストールする必要がありました。他に CAYIN MediaSign や Media Streaming も必要でした。
Multimedia Console を開いて、「コンテンツ管理」で DLNA を選び、コンテンツソースの「編集」をクリックして、ソースフォルダーに Mulitimedia を選びました。このフォルダーにあるものが DLNA デバイス、我が家の場合は TV とインターネットラジオに配信されます。DLNA の配信先は、「コントロールパネル」→「DLNA メディアサーバー」→「詳細設定」→「メディアレシーバー」で確認できました。
指定した Multimedia フォルダーに入れた動画、音楽、写真ファイルは自動的にインデックスやサムネールが作られ、動画の場合、Video Station を使って、「映画」、「テレビ番組」、「音楽ビデオ」、「ホームビデオ」、「カラオケ」、「未分類」などに分類することができました。

【Python CGI と Cookie】4-3-2023

Python CGI プログラムでの Cookie の書き込みは難しくありません。print() を使って、次のように出力するだけです。
```
print(f"Set-Cookie: key={key_value};")
```
これは Perl でも同じです。
次に、cookie の値を取り出す方法ですが、Perl では次のようにしてできました。
```
use CGI;
 
my $q = new CGI;
$key_value = $q->cookie('key');
```
Python では、http モジュールの cookies を使って、次のように取り出すことができるとの説明を見つけました。
```
from http import cookies
 
cookie = cookies.SimpleCookie()
key_value = cookie["key"].value
```
しかし、実際には、os モジュールで、あらかじめ cookie 情報をとりこんでおく必要がありました。
```
import os
from http import cookies
 
cookie = cookies.SimpleCookie()
cookie.load(os.environ["HTTP_COOKIE"])
key_value = cookie["key"].value
```

しかし、上記のままだと "key" が設定されていない場合、エラーが起こり CGI が停止してしまうので、最終的には次のようにしました。

import os
from http import cookies
 
try:
    cookie = cookies.SimpleCookie()
    cookie.load(os.environ["HTTP_COOKIE"])
    key_value = cookie["key"].value
except:
    key_value = ""

【Linux との付き合い】4-10-2023

私は 2000年から Linux を使い始め、Linux との付き合いは 20年以上になります。その理由は ① システム全体が公開されている、② カスタマイズの自由度が高い、③ プログラミング環境が整っている、④外部からの攻撃に強い、⑤ 無料で使え、大企業の支配を受けない、などが気にいったからです。
もちろん、Linux にも弱点があります。当初は、日本語を使うのが困難でした。また、ラップトップ PC へのインストールも骨が折れました。Windows ではドライバーを使って、デバイスを使いますが、Linux ではデバイスとの接続は Kernel が担当します。そのため Windows では使えても、Linux では使えないデバイスが多くありました。けれども今では Kernel が多くのデバイスをサポートするようになりましたし、USB を介してほとんどのデバイスと接続できるようになりました。プリンターについては、各社が Linux ドライバーを提供するようになり、私が持っているプリンターで Linux で使えないでいるのは Dymo Wireless だけです。
Windows は 1993年に Dave Cultler によって設計されたマルチメディア対応の NT がベースになっています。Linux は 1990年に Linus Torvalds によって Unix を基にして作られたもので、今日のインターネット社会に適応しています。ですから、ほとんどのインターネットサーバーは Linux で動いています。それに、様々な製品に組み込むのにも適しており、多くの自動車のコンピュータシステムも Linux で動いています。PC だけに限れば Windows が 70％以上のシェアを占めていますが、コンピューターシステム全体では、Linux のほうが大きなシェアを占めています。NASA も以前は Windows を使っていましたが、今は Linux（Debian）を使っています。
アメリカの他の政府機関は Windows を使っています。Linux のように不特定多数で作り上げる OS よりも、Windows のように一企業によって作られ、サポートされるものでないとうまくないのでしょう。
MacOS も Linux 同様、Unix がベースになっていますが、Accent, Mach, NeXTSTEP, Darwin Kernel と変遷し、2000年に現在のものとなりました。良く設計され、ソフトウェアも厳選されてはいますが、高価な専用 PC でなければ使えない、ほとんどカスタマイズできないなどの理由で、MacOS は、私にとって、縁遠い存在です。

【次の日曜日の年月日】4-17-2023

Python で次の日曜日の年月日を得るため、最初、カレンダープログラムで曜日のリストを作り、そこから目的の年月日を発見するプログラムを書きました。それでも十分目的は果たしたのですが、もっと簡単に行う方法を見つけました。
まず、きょうの日付を得、それから曜日を得ます。
```
from datetime import date, timedelta
 
today = datetime.today()
weekday = today.weekday()
```
曜日は 0 - 6 で返されます。0 が月曜日で、6 が日曜日ですから、きょうから次の日曜日までの日数は 6 - weekday となります。これを timedelta(days=days_to_Sunday) に入れて、次の日曜日の年月日を得ることができました。
```
nextSunday = today + timedelta(days=6 - weekday)
print(date.strftime(nextSunday, '%Y-%m-%d'))
```
Python では日時まで「+」や「-」で加えたり、引いたりできるのは驚きでした。

【Golang のカレンダー】4-24-2023

私がプログラミングを始めて最初に作ったのがカレンダープログラムでした。Linux にはすでに cal というコマンドがあるので、「車輪の発明」になりますが、自分で作ってみて、とても勉強になりました。最近はもっぱら Python を使っていて、以前少しかじった Golang を忘れかけていたので、Golang でカレンダープログラムを作ってみることにしました。
任意の月のカレンダーを作るには、その月が何曜日からはじまるか、その月の日数が何日かが分かればよいわけで、1日の曜日 week_day は Golang では
```
t := time.Date(year, time.Month(month), 1, 0, 0, 0, 0, time.UTC)
week_day := int(t.Weekday())
```
として得ることができました。time.Date() に渡す引数は
```
年　year
月　time.Month(month)
日　1
時　0
分　0
秒　0
ミリ秒　0
タイムゾーン　time.UTC
```
となっています。
その月の日数は、その月に 1 を加え、「日」を 0 にすれば得られます。これは12月の場合も同じで、year を次年にし、month を 1 にする必要はありませんでした。
```
t = time.Date(year, time.Month(month + 1), 0, 0, 0, 0, 0, time.UTC)
last_day := t.Day()
```
日曜日から土曜日へと「日」を書き込むときに、week_day の分だけ空白にし、土曜日で折り返して、最終日までを書き込めばいいわけで、year, month, last_day, week_day を一ヶ月分の表示 function に渡し、カレンダーを完成させました。
月の日数計算が必要なのは 2月だけですから、その年がうるう年であるかどうかが判定できれば、日数計算を省くことができます。私は、次のように各月の日数を格納したスライスを用意し、2月以外は、ここから日数を得るようにしておいて、
```
last_days := []int { 0, 31, 28, 31, 30, 31, 30, 31, 31, 30, 31, 30, 31 }
```
2月の場合だけ、次の function で日数を得るようにしました。
```
func find_last_day (year int) (int) {
    if year % 4 == 0 && year % 100 !=　0 || year % 400 ==　0 {
        return 29
    }else{
        return 28
    }
}
```

【Golang モジュール】5-1-2023

Golang でカレンダープログラムを作ってから、日曜日を赤色で表示することを思いつき、次のような function を書きました。
```
var (
    Bold   = "\033[1m"
    Red    = "\033[1m\033[31m"
    Green  = "\033[1m\033[32m"
    Yellow = "\033[1m\033[33m"
    Blue   = "\033[1m\033[34m"
    Purple = "\033[1m\033[35m"
    Cyan   = "\033[1m\033[36m"
    Reset  = "\033[0m"
)
 
func color_print(day int) {
    if day < 10 {
        fmt.Printf(" %s% d%s ", Red, day, Reset)
    } else {
        fmt.Printf(" %s%d%s ", Red, day, Reset)
    }
}
```
色文字は、今は、Red しか使いませんが、後々のため、他の色もグローバル変数で定義しておきました。bold のほうが読みやすいので、すべて bold にしました。Gray は bold にするだけで White になるので、White は定義していません。

これを main package に記述してもいいのですが、練習のため、別のファイルに保存し、main package から呼び出して使えるようにしました。そのために、func 名を大文字で始め、グローバル func にし、package 名を color とし、color.go のファイル名で保存しました。

package color
 
import (
    "fmt"
)
 
var (
    Bold   = "\033[1m"
    Red    = "\033[1m\033[31m"
    Green  = "\033[1m\033[32m"
    Yellow = "\033[1m\033[33m"
    Blue   = "\033[1m\033[34m"
    Purple = "\033[1m\033[35m"
    Cyan   = "\033[1m\033[36m"
    Reset  = "\033[0m"
)
 
func Color_print(day int) {
    if day < 10 {
        fmt.Printf(" %s% d%s ", Red, day, Reset)
    } else {
        fmt.Printf(" %s%d%s ", Red, day, Reset)
    }
}

main package からは

color.Color_print(day)

として呼び出すようにしました。

main package は calendar フォルダーにあるので、次を実行して mod.go を作成しました。mod.go には次のように記述されていました。

module calendar
 
go 1.20

全体の配置は次のようになります。

[Go Source Root]
　　┗━━ calendar/
　　　　　　┣━━ calendar.go
　　　　　　┣━━ mod.go
　　　　　　┗━━ color/　　　　　　
　　　　　　　　　┗━━ color.go

こうすると、大きなプログラムも書きやすく、読みやすくなります。モジュールをきちんと作っておけば、他のプログラムでも利用することができます。

【Golang で外部コマンドの実行】5-8-2023

このごろ、今まで Python で書いた自作ツールを Golang で書き換えています。Python で外部プログラムを実行するには subprpcess を使いますが、Golang では os/exec ライブラリーを使います。
たとえば pdftk を使って pdf ファイルを 1 ページづつ別々のファイルにして、PDF フォルダーに格納するファンクションは次のようになります。
```
func split_pdf(pdf_file string) {
    app := "pdftk"
    args := []string{ pdf_file, "burst", "output", "PDF/" }
    cmd := exec.Command(app, args...)
    err := cmd.Run()
    if err != nil {
        log.Fatal(err)
    }
}
```
思ったより簡単に書くことができました。

lame を使って wav ファイルから mp3 ファイルを作るプログラムも、同じようにして書きましたが、コンソールにデータや進捗状態が表示されませんでした。それで、次のようにしたらうまくいきましたが、これらは借りてきたコードで、どのコードがどういう働きをしているのか、自分では理解できていません。

package main
 
import (
    "log"
    "os"
    "os/exec"
)
 
type saveOutput struct {
    savedOutput []byte
}
 
func (so *saveOutput) Write(p []byte) (n int, err error) {
    so.savedOutput = append(so.savedOutput, p...)
    return os.Stdout.Write(p)
}
 
func main() {
    wavfile := "sample.wav"
    mp3file := "sample.mp3"
    app := "lame"
    args := []string{ wavfile, mp3file }
    var so saveOutput
    cmd := exec.Command(app, args...)
    cmd.Stdin = os.Stdin
    cmd.Stdout = &so
    cmd.Stderr = os.Stderr
    err := cmd.Run()
    if err != nil {
        log.Fatal(err)
    }
}

mp3 への変換では、Python で書いたものと、Golang で書いたものとでは、Golang で書いたもののほうがはるかに早く動き、大きなファイルの変換でもストレスを感じさせません。速度の点では Golang のほうがはるかに優れているように思います。
インターネット上の記事を見ると、プログラマーの方々は、Golang を良く評価していません。今後、長く使われることはないだろうと言う人もあります。しかし、アマチュアや初心者には、書き易さと、資料、実例、解説が豊富であることは大切なので、私には重宝しています。ゴールはウェブ・アプリを作ることなので、少しづつ勉強してみたいと思っています。

【pdfbook2 での小冊子印刷】5-15-2023

4月20日、Ubuntu 23.04（Lunar Lobster）のリリースに伴い、Xubuntu も 23.04 にアップデートされました。今までは LTS のときだけアップグレードしていたのですが、今回は、Xubuntu のデスクトップ環境 Xfce4 が 4.18 にアップグレードしたので、それを試したいと思い、再インストールではなく、ディストリビューション・アップグレードを使って導入しました。見た目の変化はあまりありませんが、細かいところがチューニングされていて、気持ちよく使っています。
どのアプリも問題なく使うことができていますが、Pdfbooklet だけは使えなくなりました。これは古いアプリなので、Python2 が必要なのでは…と思って、次のように、Python2 を入れてみました。
```
wget https://www.python.org/ftp/python/2.7.9/Python-2.7.9.tgz
tar xzf Python-2.7.9.tgz
cd Python-2.7.9
./configure --enable-optimizations
sudo make altinstall
```
そして、Python3 と切り替えて使うことができるようにするため、alternative を設定しました。
```
sudo ln -sfn '/usr/local/bin/python2.7' '/usr/bin/python2'
sudo update-alternatives --install /usr/bin/python python /usr/bin/python2 1
```
けれども、Pdfbooklet は動きませんでした。Psfbooklet は Python3 で動いているようです。
それで代替に github から pdfbook2 をダウンロードして使いました。これは CUI の Python プログラムで、Lunar でも問題なく使うことができました。ただし、これは横書きの冊子用で、左綴じの小冊子しか生成しません。右綴じにするために、もとになる PDF ファイルのページを pdftk で逆順に並べ替えてから pdfbook2 で小冊子を作る方法を思いつき、次のようにしました。逆順に並べ替えるのは PDF Arranger でもできます。
```
$ pdftk source.pdf cat end-1 output reversed.pdf
```
$ python pdfbook2 reversed.pdf これがうまくいきましたので、pdfbook2 にコードを書き加えて、右綴じの小冊子を作れるようにしました。GUI でなくても大丈夫で、これを pdfbook3 と名付けて使っています。

【pdfjam を直接使う】5-22-2023

pdfbook2 は pdfjam を使って小冊子用の PDF ファイルを作成をしています。それなら、pdfjam を直接使って小冊子ファイルの作成をしたら…と思い、試してみました。私の場合、もとになるファイルのページを、ハーフサイズ（幅 13.97cm、高さ 21.59cm）に設定してあります。これを横置きのレターサイズ用紙の左右に 1ページづつ印刷し、真ん中で折りたたむと小冊子になるように PDF ファイルを出力させたいわけです。次のコマンド小冊子用ファイルを得ることができました。
```
$ pdfjam sample.pdf --booklet 'true' --paper 'letter' --landscape --outfile sample-book.pdf
```
--outfile オプションのかわりに --suffix オプションを使うと、入力ファイルにオプションで指定した文字が追加されたファイル名で出力ファイルが作られます。次のコマンドで、上記と同じ　sample-book.pdf を得ることができました。
```
$ pdfjam sample.pdf --booklet 'true' --paper 'letter' --landscape --suffix 'book'
```
しかし、そのままでは、1ページおきにページが180度回転して表示されます。プリンターの「長辺折返し」モードで印刷すれば問題ないのですが、画面で読むときに読みにくいので、「短辺折返し」モードで出力しようと、--short-edge オプションを加えたのですが、私の場合、pdfjam がこれを受け付けてくれませんでした。それで、pdfbook2 のコードを参考に、次のように --preamble オプションを追加しました。
```
$ pdfjam sample.pdf --preamble '\usepackage{everyshi}\makeatletter\EveryShipout{\ifodd\c@page\pdfpageattr{/Rotate 180}\fi}\makeatother' --booklet 'true' --paper 'letter' --landscape --suffix 'book'
```
以上は横書きの場合ですが、縦書きの場合、もとのファイルを並べ替えておかなくても、'last-1' を追加して、
```
$ pdfjam sample.pdf 'last-1' --preamble '\usepackage{everyshi}\makeatletter\EveryShipout{\ifodd\c@page\pdfpageattr{/Rotate 180}\fi}\makeatother' --booklet 'true' --paper 'letter' --landscape --suffix 'book'
```
とすると、期待通りのファイルを得ることができました。他にも、オプションを変更すれば、2-up シートを作ることができました。シェルスクリプトで pdfjam にオプションを渡すプログラムを書いて使っています。

【Bash プログラミング】5-29-2023

pdfjam を使うのに bash で事足りたので、フォルダーごとの mp3 ファイルの再生時間合計を得るプログラムを bash で書いてみました。まずは、フォルダーを指定し、その中にある mp3 フアイルのリストを作ることから始めました。
```
#!/bin/bash
if [[ $# != 1 ]]; then
  echo "Input directory."
  exit 1
fi
mdir=$1
pattern="$mdir/*.mp3"
fnames=`ls $pattern`
for fname in $fnames; do
  echo "$fname"
done
```
if 文では引数の数 $# をチェックしています。`ls $pattern` は ls を実行させるコマンドで、バッククォートで囲むのは perl と同じでした。for 文で ls が出力した配列 $fname からひとつづつのファイルを取り出し、echo で表示しています。
mp3 ファイルの再生時間は、使い慣れた mp3info で行いました。echo "$fname" の部分を次のように書き換えました。
```
  out=`mp3info -p %S ${fname}`
  min=$(($out / 60))
  sec=$(($out % 60))
  mp3name=`basename ${fname}`
  printf "%s %d:%02d\n" $mp3name $min $sec
```
mp3info の出力は秒ですので、分と秒で表示するため、printf を使いました。秒が一桁の場合、0 を付けるようにしました。
これでプログラムの目的は果たせたのですが、ファイル名と再生時間の表示で、ファイル名の長さが違うので、再生時間の先頭が揃える工夫をしてみました。ファイル名の長さに応じた空白を作り、これをファイル名と再生時間の間に入れました。最初は ${#mp3name} で文字列の長さを求めたのですが、英文のタイトルの場合は、問題ないのですが、日本語が入った場合、日本語は、画面では英数字ふたつ分を占めますので、再生時間表示の先頭がずれてしまいます。それで、作ったのが、次のファンクションです。
```
function mkspace() {
  size=0
  for ((i=0; i < ${#mp3name}; i++)); do
    moji=${mp3name:$i:1}
    byte=$(printf "%s" "$moji" | wc -c)
    if [[ $byte == 3 ]]; then
      size=$((${size} + 2))
    else
      size=$((${size} + 1))
    fi
  done
  max=$((40 - ${size}))
  spc=""
  for ((i=0; i < $max; i++)); do
    spc="${spc}."
  done
}
```
まず、${#mp3name} でファイル名の長さを得て、${mp3name:$i:1} で、それを先頭から一文字づつ切り取りました。そして、その文字が何バイトあるかを printf "%s" "$moji" | wc -c でチェックしました。UTF-8 では日本語は 3バイトですので、size に 2 を加え、英数文字なら 1バイトですので、size に 1 を加えました。これで、画面上の文字列サイズを検出できました。再生時間表示の開始位置を 40 に固定し、そこから文字列サイズを引いて、スペースを作りました。

これを、次のように呼び出して表示しました。

  mkspace $mp3name
  printf "%s %s %d:%02d\n" $mp3name $spc $min $sec

次のように表示されます。

01_My_Old_Kentucky_Home.mp3 .............. 2:46
02_Jeanie_With_the_Light_Brown_Hair.mp3 .. 3:04
03_Old_Black_Joe.mp3 ..................... 3:05
04_Shenandoa.mp3 ......................... 3:16
05_Home_On_the_Range.mp3 ................. 3:33
10_Swanee_River_故郷の人々.mp3 ........... 3:21
11_Beautiful_Dreamer_夢路より.mp3 ........ 3:18
12_Oh_Susanna_おおスザンナ.mp3 ........... 1:46

これは、いろんなところで応用できそうです。

【pwsh を使ってみる】6-5-2023

Bash の書式は、独特なところがあるので、それに代わるものを捜してみましたら、pwsh に出会いました。これは Microsoft が作ったもので、Windows で使われている PowerShell のフォークです。https://github.com/PowerShell/PowerShell から、Stable Version の Ubuntu 22.04 用の .deb パッケージをダウンロードしてインストールしました。私の場合、インストールにさいして追加パッケージは必要ありませんでした。
前回、フォルダーの中にある mp3 ファイルの再生時間合計を表示するプログラムを bash で書き、これを playtime.sh に保存しましたが、同じものを pwsh で書き換えてみました。pwsh の書式は perl に似ており、オブジェクト様式は python に共通したものがあるように思います。いくつかの言語の知識があると、新しい言語を学ぶのに役立つことが分かりました。
pwsh スクリプトの拡張子は .ps1 なので、スクリプト名を playtime.ps1 として、次のように書きはじめました。
```
#!/usr/bin/pwsh
# playtime.ps1
# 2023.06.05
```
ハッシュ・バング、スクリプト名、作成日の順です。
最初の作業は、対象ディレクトリー名をコマンドから取り込むことです。次のようにしました。
```
if ($Args.Count -eq 1) {
	Write-Host "$($PSStyle.bold)== Playtime (pwsh version) ==$($PSStyle.BoldOff)" -ForegroundColor "Green"
	} else {
	Write-Host "Input directory name."
	exit(1)
}
```
$Args.Count は引数の個数です。一つだけの場合、タイトルを表示するようにしました。'==' は使えないので、 '-eq' で個数を判定しています。'$($PSStyle.bold)' と　'$($PSStyle.BoldOff)' は ANSI 制御コードで、太文字の指定と解除をしています。文字の色は '-ForegroundColor "Green"' で指定しています。'Write-Host' は println() と同じような働きをします。
引数そのものは $Args[x] で獲得しました。Get-ChildItem を使って、ファイル・パスを獲得しました。ここでは glob() に相当する働きをさせています。そして、獲得したファイル・パスのリストから各ファイルごとに Function findPlayTime() で再生時間を調べるようにしました。
```
$dir = $Args[0]
$mp3files = Get-ChildItem ${dir}/*.mp3
foreach ($mp3file in $mp3files) {
	($min, $sec) = findPlayTime($mp3file)
```
次はこのスクリプトの中核部分で、mp3info を使ってファイルの再生時間を調べています。
```
Function findPlayTime($mp3file) {
	$sec = & mp3info -p %S $mp3file
	$min = [int]($sec / 60)
	$sec = $sec % 60
	return $min, $sec
}
```
外部プログラム 'mp3info' は & を使って呼び出し、その結果を $sec に代入しました。$sec は秒数ですので、'$out / 60' で「分」に、'$out % 60' で「秒」を得ています。ただし、そのままだと「分」が小数点以下まで表示されてしまうので、'[int]' で整数に換算しています。
$mp3file にはパスも含まれるので、ファイル名を取り出すため、'Split-Path $mp3file -Leaf' を使いました。$spc は、このファイル名の長さを計算して、再生時間との間に置くスペースで、これは、Function MakeSpace() にファイル名を渡して計算させました。
```
foreach ($mp3file in $mp3files) {
	($min, $sec) = findPlayTime($mp3file)
	$mp3name = Split-Path $mp3file -Leaf
	$spc = MakeSpace $mp3name
```
Function MakeSpace() は、ファイル名（$mp3name）を受け取り、一文字づつのバイト数を 'wc -c' でチェックしています。Bash と違って、3バイト文字の返り値が '4'、1バイト文字は '2' となったので、'$byte -= 1' で調整しています。どうしてそうなるのか、まだ調べていません。
```
Function MakeSpace($mp3name) {
	$len = ${mp3name}.Length
	$size = 0
	for ($i = 0; $i -lt $len; $i++) {
		$moji = ${mp3name}.Substring($i, 1)
		$byte = $moji | wc -c
		$byte -= 1
		if ($byte -eq 3) {
			$size = $size + 2
		} else {
			$size = $size + 1
		}
	}
	$max = 50 - $size
	$spc = " "
	for ($i = 0; $i -lt $max; $i++) {
		$spc = " $spc"
	}
	return $spc
}
```
この関数は、それを呼び出しているメインルーチンの前に置かないとエラーになります。

再生時間の合計を表示するコードを書き足して、メインの部分を次のように仕上げました。

Write-Host "$($PSStyle.bold)== Playtime (pwsh version) ==$($PSStyle.BoldOff)" -ForegroundColor "Green"
if ($Args.Count -ne 1) {
	Write-Host "Input directory name."
	exit(1)
}
$dir = $Args[0]
$mp3files = Get-ChildItem ${dir}/*.mp3 
$total = 0
foreach ($mp3file in $mp3files) {
	($min, $sec) = findPlayTime($mp3file)
	$total = $total + $min * 60 + $sec
	$mp3name = Split-Path $mp3file -Leaf
	$spc = MakeSpace $mp3name
	"{0} {1} {2:00}:{3:00}" -f $mp3name, $spc, $min, $sec
}
$totalmin = [int]($total / 60)
$totalsec = $total % 60
if ($totalmin -gt 60) {
	$totalhur = [int]($totalmin / 60)
	$totalmin = $totalmin % 60
	"$($PSStyle.bold)Total {0:00}:{1:00}:{2:00}$($PSStyle.BoldOff)" -f $totalhur, $totalmin, $totalsec
} else {
	"$($PSStyle.bold)Total {0:00}:{1:00}$($PSStyle.BoldOff)" -f $totalmin, $totalsec
}

タイトル表示部分では、$($PSStyle.bold) と $($PSStyle.BoldOff) で太文字表示とその解除を示しています。-ForegroundColor "Green" で、文字列の色を指定しています。また、"{0} {1} {2:00}:{3:00}" -f $mp3name, $spc, $min, $sec の部分では -f オペレーターを使って、他の言語の printf と同じような働きをさせています。

pwsh の特徴は「コマンドレット」を使って、簡潔なスクリプトが書けることにあるように思いました。'Split-Path $mp3file -Leaf' という部分では、'Split-Path' というコマンドが、引数（$mp3file）とオプション（-Leaf）を受け取り、結果を出力しています。コマンドを組み合わせてプログラムを構成するという手法がとられています。Bash のように表記方法にクセがないので、素直に記述できることが気に入りましたが、実行速度は、早くはありません。Golang で書いたものは、なんといっても早いです。しかし、ちょっとした CUI ツールを書くのにはとても便利で、Windows 用のスクリプトへの変換も簡単だろうと思います。もう少し、これを使い続けてみようと思っています。

【名前付きの要素抽出】6-12-2023

私がプログラミングでよく使うのは、正規表現を使って、文字列から、パターンに一致した部分を取り出すことです。pwsh では次のようにしています。
```
$date = "June 12, 2023"
[regex]$p = '^([A-z]+) ([0-9]+), ([0-9]+)$'
$m = $p.match($date)
$monthname = $m.groups[1]
$day = $m.groups[2]
$year = $m.groups[3]
```
正規表現のパターンのかっこでくくった部分が $m.groups の各要素に格納されるので、それを数字で引き出すわけです。$m.groups[1] が月名、$m.groups[2] が日、$m.groups[3] が年を格納します。
上記の方法だと、要素の何番目にどの情報が入っているかを覚えておかなければなりませんが、かっこでくくったパターンに名前をつけると、その情報を名前で呼び出すことができます。次のようになります。
```
$date = "June 12, 2023"
[regex]$p = '^(?<monthname>[A-z]+) (?<day>[0-9]+), (?<year>[0-9]+)$'
$m = $p.match($date)
$monthname = $m.groups['monthname']
$day = $m.groups['day']
$year = $m.groups['year']
```
かっこの内側に '?' を置き、すぐ後に、名前を '<>' でくくればよいだけです。取り出すときには、数字でなく、名前を入れればよいので、数字で取り出すよりは、分かりやすいです。

【pwsh カレンダープログラム】6-19-2023

私のプログラミングの原点は「カレンダーの作成」でした。一ヶ月のカレンダーを表示するプログラムを Perl、Python、Golang で書きましたが、pwsh ではどのように書くことができるだろうかと思い、試してみました。まずは、月の名前と月の日数の配列を用意しました。
```
$monthnames = ("", "January", "February", "March", "April", "May", "June", "July", "August", "September", "October", "Novenber", "December")
$LastDays = (0, 31, 28, 31, 30, 31, 30, 31, 31, 30, 31, 30, 31)
```
コマンドラインで年と月を指定するようにして、年は $y に、月は $m に格納しました。そして、月の名前と年、それから曜日タイトルを次のように表示しました。
```
$monthname = $monthnames[$month]
Write-Host "${monthname}, ${y}"
Write-Host "SUN  MON  TUE  WED  THU  FRI  SAT"
```

第1週目は、まず、1日の曜日値を

$firstDayOfWeek = (Get-Date -Year $y -Month $m -Day 1).DayOfWeek.value__

で獲得してから、曜日タイトルにそろえるため、1日までに空白で埋めるようにしました。

$space = "  " * ($firstDayOfWeek -gt 0) 
for ($i=0; $i -lt $firstDayOfWeek; $i++){
    $space = $space + "     "
}

それからその月の日数を得て、1日から次の最後の日まで、各週のデータを $weekLine に格納し、土曜日まできたら、それを表示するようにしました。

$weekValue = $firstDayOfWeek
$weekLine = $space
for ($day = 1; $day -le $lastDay; $day++){
    if ($weekValue -eq 7) {
        Write-Host $weekLine
		$weekLine = ""
		$weekValue = 0
	}
	if ($weekValue -eq 0) {
		if ($day -gt 9) {
			Write-Host -NoNewline " "
		} else {
			Write-Host -NoNewline "  "
		}
	}
    if ($day -ge 9) {
        $weekLine = $weekLine + $day + "   "
    } else {
        $weekLine = $weekLine + $day + "    " 
    }
    $weekValue += 1
}
write-Host $weekLine

Bash も高機能なシェル・インタープリターですが、pwsh はシェル・インタープリター以上の機能を持っており、立派な高機能プログミング言語と言ってもよいと思います。とても書きやすいのですが、実行速度は改善の余地があると思います。

【Comptus Paschalis】6-26-2023

"Comptus Paschalis" とは、ラテン語で「イースターの計算」という意味です。イースターは「春分の日の後の満月ののちの日曜日」と定められているので、計算がややこしいのです。それにユリウス暦に従うものと、グレゴリオ暦に従うものとの二つがあって、なお、複雑になっています。昔から、イースターの日を計算する表や、数学者が作ったアルゴリズムが存在します。その中で有名なのはガウスによるアルゴリズムです。

それに改良を加えたものが、1961年に O'Beirne 氏によって発表されました。次の式は、それに従って、pwsh で作ったもので、$Year を与えると、その年のイースターの月日（$Month と $Day）が返されるようになっています。

$a = $Year % 19
$b = [int][Math]::Floor($Year / 100)
$c = $Year % 100
$d = [int][Math]::Floor($b / 4)
$e = $b % 4
$f = [int][Math]::Floor((8 * $b + 13) / 25)
$g = (19 * $a + $b - $d - $f + 15) % 30
$h = [int][Math]::Floor($c / 4)
$i = $c % 4
$j = (32 + 2 * $e + 2 * $h - $g - $i) % 7
$k = [int][Math]::Floor(($a + 11 * $g + 22 * $j) / 451)
$Month = [int][Math]::Floor(($g + $j - 7 * $k + 114) / 31)
$Day = ($g + $j - 7 * $k + 114) % 31 + 1

pwsh の [int] は、そのままでは四捨五入するので、目的の月日を得られませんでした。それで小数点以下を切り捨てるために [Math]::Floor を使ったらうまくいきました。

少し変更が加えられていますが、同じアルゴリズムによるものを golang で書き直しました。こちらは除算の返り値が Floor なので、もっとすっきりしたコードになっています。

a := year % 19
b := year / 100
c := year % 100
d := b / 4 
e := b % 4
f := (b + 8) / 25 
g := (b - f + 1) / 3 
h := (19 * a + b - d - g + 15) % 30
i := c / 4 
j := c % 4
k := (32 + 2 * e + 2 * i - h - j) % 7
l := (a + 11 * h + 22 * k) / 451 
month := (h + k - 7 * l + 114) / 31 
day := ((h + k - 7 * l + 114) % 31) + 1


Home	First	Prev	Next	Last


Home	First	Prev	Next	Last

Linux Memo 2023年1～6月分