60歳からITエンジニアを目指す無謀なブログ

60歳で定年し、職種を変更してIT技術者を目指すブログです。

2022-04-01から1ヶ月間の記事一覧

Pandas データフレーム 外れ値の削除

import scipy.stats as stats を使います。 df = df[(np.abs(stats.zscore(df['column1'])) < 3)] zscore()でcolumn1列の各行の値に標準化を行って、その絶対値3以下のものだけ データフレームを残します。

MAC ターミナル環境の文字化け対策

ターミナル>環境設定>プロファイル>詳細 以下の様に設定します。 (テキストエンコーディング UTF8を忘れないように) MACのターミナル環境設定 それから.zshenvにexport LANG=ja_JP.UTF-8 を書いておいて、 exec .zshenvしておくとで echo $LANGでja_JP.…

matplot 日本語出力時の文字化け(MAC OS環境)

ずっと放置していた、日本語文字化けの対策を調べました。 分かってしまえば簡単ですが、、、 pip install japanize-matplotlib import japanize_matplotlib だけです。

Pandas データフレーム引数の関数

データフレームの列方向に”平成3年”、”昭和61年”、”令和2年”、、、のような和暦データが入っているとします。このデータを西暦に変換する関数を考えます。 列方向のデータはSeriesデータに対して、value_counts()データの出現頻度を数えあげ実行し、そのkey…

Pandas 複数フレームの連結 (MAC OS)

備忘録として、Pandasの複数データフレームをリードして、連結して1つの大きなデータフレームを作成する方法を説明します。 ターゲットディレクトリ target_dir 配下に複数のCSVファイルがあり、それを データフレームとしてリードして連結することを想定し…