Python関連のことを調べてみた2021年09月08日

mayaがエラー・ワーニングを吐く時の対処 4　~不死身の亀~

TurtleDefaultBakeLayerというノードが何もしてないのに出来てしまっいて、
「削除してくだい」と言われたので削除しようとしたけれども、deleteボタンを押すと

// Error: file: C:/Program Files/Autodesk/Maya2019/scripts/others/doDelete.mel line 111: Cannot delete locked node ‘TurtleDefaultBakeLayer’.

と断られる。

TurtleDefaultBakeLayerは　レンダリング設定で render using を turtleにすると生成されるturtleの為のノード。
ワーニングの通り、ノードがロックされているので通常の手順では削除できない。

1,カメなのにウサギ殺しのボタンを押す
—
![kamegorosi.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1484234/e251edbd-da4a-508e-dd78-cd9a

OpenCVを使って緑被を抽出する

Pythonで使えるライブラリの1つとしてOpenCVがありますが、活用例として特定の色の抽出がよく紹介されます。
今回は、OpenCVと緑被分布図を使って、駅から半径1.5km以内の範囲にある緑被の抽出・緑被率の計算を行うプログラムを作成してみました。

#緑被分布図の準備
緑被分布図は下記のリンクから。
首都圏と近畿圏のものがあるようです。

緑被分布図の公開 – 大都市圏整備（国土交通省）
https://www.mlit.go.jp/crd/daisei_ryokuhi_index.html

##駅から半径1.5km以内の範囲を示す緑被分布図の作成
現時点では**気合いで**作成します（いずれは自動化していきたい…）。
例えば新宿駅なら次のような図になります。

#コード
下記のサイトを参考に、コードを書いてみました。

Op

python初心者　初級編②変数について

####[←前項](https://qiita.com/dondondon/items/8ded2a3608d1f7236c9d “python初心者　初級編①型について”)

https://qiita.com/dondondon/items/8ded2a3608d1f7236c9d

#変数について
`基本`
+ 1など数字からの変数は宣言出来ない
+ Trueやifなどの予約語は使用できない
+ コードは上からの処理なので変数は上書きされる

**出力結果**

“`Python
>>> name = ‘Mika’
>>> name
‘Mika’

>>> name = ‘Freddy’
>>> name
‘Freddy’

>>> a = 5
>>> b = 10
>>> print(a, b)
5 10

#一度に代入する事も可能
>>> a, b = b, a
>>> print(a, b)
10 5

#一度に宣言する事も可能
>>> c, d = 20, 30
>>> c
20
“`

####[次項→](https://qiita.com/dondondon/pr

Athenaで基礎からしっかり入門 分析SQL（Pythonコード付き） #4

今まで複雑なデータ操作・分析などはPythonでやっており、SQLは普通のアプリ開発程度のライトなものしか触って来なかったのですが、やはり分析用の長いSQLなども書けた方がやりとり等で便利・・・という印象なので、復習も兼ねて記事にしておきます。

また、SQLに加えて検算も兼ねてPythonやPandasなどを使ったコードもSQLと併記していきます（Pythonで書くとどういった記述が該当するのかの比較用として使います）。

※長くなるのでいくつかの記事に分割します。本記事は4記事目となります。

# 特記事項

本記事では配列関係を良く扱っていきます。その都合、Pandasなどでapplyメソッドなどを絡めた形で触れている節もあればビルトインでの記述のみしている節もあります（本記事からPandas色が少し薄くなります）。

# 他のシリーズ記事

※過去の記事で既に触れたものは本記事では触れません。

`#1`:

用語の説明・SELECT、WHERE、ORDER BY、LIMIT、AS、DISTINCT、基本的な集計関係（COUNTやAVGなど）、Athenaのパーティション、型、

OPENAIのCodexがホラーすぎる件について

# OPENAIのCodex

https://beta.openai.com/codex-access


巷を賑わせている、OPENAIそのCodex betaの利用申請が通りましたので試しに使ってみます。

# テスト

## 入力コード

“`Python
“””Online
This is a module of sequential calculation algorithm
for finding moving average, moving standard deviation
and moving variance in constraints.

Author: Hideto Manjo
Date: Aug 9, 2020
“””

import time
import random
import

画像解析実践入門_指紋の稜線分析 1(前処理編)

# 概要
主にpythonで画像処理について本格的に学び始めたのですが、実際に使う機会が欲しくてテーマを探していました。
研究室に埋もれていた書籍「MATLAB画像処理入門」に指紋解析について乗っていましたので,python風にコードを書き換えながら画像解析について理解を深めます。

## もくじ
1. 指紋の画像データセットについて
2. 使用するpythonライブラリ
3. 画像の読み込み~二値化
までを行います

## 1.指紋の画像データセットについて
kaggleにデータセットがあったのでこちらを使います。
[https://www.kaggle.com/ruizgara/socofing]
ダウンロードしたデータの /SOCOFing/Real/* の画像を使いましょう。
##2.使用するpyhonライブラリ
– Numpy #行列計算に使用
– matplotlib #画像とグラフのプロット
– Scikit-image #画像処理に利用

の３つをインポートします。
ちなみに

PythonのJupyter NotebookでグラフだけRのggplot2で描きたい（ほぼ標準ライブラリ）

データ分析をしていて、基本的にはPythonでの作業が快適だけど、グラフだけはRのggplot2で描きたい、ということが私はよくあります。
そういうとき、普通は次の２つの手段を取ることが多いと思います。

* [ggpy](https://github.com/yhat/ggpy) ライブラリを使う。これは、ggplot2の機能をPythonに移植したものです。
* [rpy2](https://pypi.org/project/rpy2/) ライブラリを使い、Rのコードをセルに書く（[例](https://github.com/crscardellino/python-with-ggplot/blob/master/python_with_ggplot.ipynb)）

1つめの手段はPythonネイティブなのが嬉しいものの、完璧な移植とは限らないのと文法の差を覚え直す必要があるところが難点です。
2つめの方が個人的には好みですが、Rでやりたいことがggplot2のグラフを書くだけなら、もう少し簡単にできそうです。

そこで、ggplot2でグラフを書いて表示させるだけの関数です。`

競プロ典型90問　001 – Yokan Party

#問題
[競プロ典型90問　001 Yokan Party](https://atcoder.jp/contests/typical90/tasks/typical90_a)

#解法
###使用する考え方

* 二分探索法
* 貪欲法

####二分探索法
ソートされた複数のデータの中からあるデータを探す際に、中央値よりも大きいか小さいかで探す範囲を絞っていく方法。
また、何番目のデータか探すだけではなく、何番目と何番目の間に入るかを調べることもできる。
先頭から見ていくよりもかなり速い。

例

1,2,4,8,16の数字の中から8の場所を見つける場合について考える。

~~~python3
list = [1,2,4,8,16]

lo = 0
hi = len(list)
search = 1

while hi – lo > 1:
mid = (lo+hi)//2
if list[mid] <= search: lo = mid else: hi = mid

画像の正規化に関して

# はじめに
よく、画像の前処理で[0~1]にスケーリングとか[-1,1]にスケーリングとか出てきます。その処理を行うコードも情報によっては書き方が違ったりするし、また画像の正規化や標準化などの言葉も出てきたり、ちょっと混乱してきたのでまとめてみました。

# 正規化とか標準化って何？
そもそもデータセットの特徴量間でスケールが違うことがほとんどです。
身長と体重を例に挙げると、成人男性であれば大体ですけど

身長： 150cm~190cmくらい
体重: 40kg~100kgくらい

の範囲の値になる人ばかりです。単位と値の範囲が大きく異なるわけです。
これを考慮せず、モデルに学習させても、比較的取りうる値の大きい身長の方に引っ張られて、うまく学習できません。
そのため特徴量間でスケール（範囲）を揃えてあげる必要があるわけですね。

その揃える方法として**正規化**と**標準化**の2つがあります。

# 正規化とは
正規化は特徴量の値の範囲を一定の範囲内に収めるように変換する処理のこと。
主に0から1,もしくは-1から1にすることが多い。
元データxを正規化する式は以下。
$$ x

S3操作をするLambda関数(Python-image)をSAM CLIを使ってデプロイする手順をまとめてみる

##はじめに
Lambda関数を作成するにあたり、必要な手順をざっくりまとめました。
以下も試しました。

– 1つのアプリケーションで複数の関数の定義
– S3の操作周りをLambdaで行う
– SAM CLIのローカルテストを試す

##開発者のIAMユーザ作成
開発とデプロイで使用します。
あとは、デフォルトのまま作成し、アクセスキー、シークレットアクセスキーを保存

#####必要な場合アクセス権を追加
ユー

Pythonの環境構築

#目次
#動作環境
#
#

【Python】ccxtライブラリをmacOSにインストールしてみた

#はじめに
みなさんmacOSにpythonのライブラリをインストールして活用していますか？
今回はccxtライブラリをインストールする方法を紹介します。

#環境
・python3.7
・macOS(Catalina 10.15.7)

#参考
私は色々なライブラリをインストールしすぎてもう何が入っているかもうわかりません。
そんな時はターミナルで確認ができます。
右上の虫眼鏡マークをクリックし[ターミナル]と入力します。
トップヒットに出てくるターミナルをクリックします。
![スクリーンショット 2021-09-07 18.48.02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1966337/d597d10

OpenCVのカスケード分類器のパラメータをリアルタイムで変化させて顔認識結果を確認できるアプリを作りました。

# はじめに
画像データ扱ってディープラーニングやってみたいとなったら、顔認識は鉄板ですよね。

顔認識やりたいとなった時に、顔の部分だけを切り出した画像を用意しないといけないわけですが、OpenCVのカスケード分類器を使うことが多いと思います。

あれって公式Githubに顔のカスケード分類器だけで4種類もあって、どれ使えば..ってなるし

いざ顔認識させようと思ったらdetectMultiscaleのハイパーパラメータ調整に悩んでしまわないですか？

ということで4種類の学習済みカスケード分類器と、ハイパーパラメータの値をリアルタイムで変化させて、識別結果を確認できるアプリを`Streamlit`で作成しました。

また画像を回転させる機能も実装しました。

ハイパーパラメータ調整で悩んでいる方の助けになれば幸いです。

アプリ本体: [カスケード分類器シミュレーター](https://share.streamlit.io/rukaeto/opencv-practice/main/main.py)
ソースコード: [Github](https://github.com/rukaet

Python3でCSVからJSONへ変換する

Python3を使用して、CSVファイルをJSONファイルに変換します。

## 実行方法

“`
$ python3 csv2json.py -i <入力CSVファイル> -o <出力JSONファイル> –delimiter ‘,’ –header-only 0
“`

|オプション|値|
|:——–:|:—:|
|-i|入力CSVファイル|
|-o|出力JSONファイル|
|–delimiter|CSV区切り文字|
|–header-only|0: データも含めて出力したい, 1: ヘッダのみを出力したい|

## コード
“`python:csv2json.py
import csv
import json
import argparse
parser = argparse.ArgumentParser()
parser.add_argument(‘-i’, ‘–input’, help=’Input file name (CSV)’, required=True)
parser.add_argument(‘-o’, ‘–output’, help

自社サイトのアクセス状況をネットワーク上に可視化するとかっこよかった話

# 背景

　日頃アクセス解析系のデータ分析をお手伝いさせていただく中で、サイトのざっくりの特徴を一目で分かるビジュアライズが欲しいと考えておりました。
ふと「ネットワーク化したら全体がイメージで掴めて良いのではないか？」という考えが舞い降り、一旦自社データで試してみることにしました。
明確な目的や設計があったわけではないので軽いお遊びの感覚で見ていただけると幸いです。

# 実現方法

## システム構成

一旦最小限の開発で実現するために以下構成で可視化を行いました。
シンプルですが接続先さえ変えれば移植できるので割と実用性もある気がしています。

– 元データ　：　GoogleAnalytics4 (Bigquery連携済)
– 実行環境　：　Google Colaboratory
– 言語　：　python
– ライブラリ　：　NetworkX

## 可視化の設計

どのように可視化するかについては個人的に気になる「流入・回遊」がみられるように設計しました。

– 円の大きさ ： 流入の大きさ
– 線の向き ： 回遊の繋がり
– 線の大きさ ： 回遊の大きさ

# 結果

#

【Python】気象庁のデータから47都道府県庁所在地の雨温図を生成してみる

# 背景

ふとしたきっかけで急に日本全国の雨温図を自作してみたくなったので、Pythonを使って各県庁所在地の雨温図を作ってみました。

# 作ったもの

今回は、以下のようなExcelファイルと雨温図を作ります。

– Excelファイル


– 雨温図


# 環境

– Windows 10
– Python 3.9.1
– pandas 1.24
– matplotlib 3.4.1
– numpy 1.19.3

# 作成手順

## データの

GCEにマイクラサーバーを立てた記録

## はじめに

MineCraft、楽しいですよね。
ステイホームな昨今、仲間内で気軽に集って遊ぶ用にマイクラのサーバーを立てる計画が立ちました。

さくらのVPSやConoHaといった便利なレンタルサーバーもあるようですが、
今回はお勉強も兼ねて自力でGCPで立てることとしました。

## 前提

– GCPコンソールが利用できること。
– discordアカウントを持っていること。

## 要件

好きな時にログインでき、最大10人弱が同時にログインできるような環境が求められてました。
課金額を最小限にするために遊ぶときだけサーバーをオンにしたいですが、筆者以外のメンバーはGCPのGの字も知らないので、誰でも簡単にサーバーオンオフができる仕組みが必要でした。
あと、極力サクッと。。（構築じゃなくて建築がしたいんです）

## 構成

### MineCraftサーバー
GCEインスタンスに[公式](https://www.minecraft.net/en-us/download/server/bedrock)から出ているサーバーソフトウェアを入れて構築します。
また、マイクラに接

python3でコーディングテストに受かるための自分メモ[9/7] (二重ループ、内包表記)

今回paizaでまたrun time errorで怒られた。
しかし、今回はうまく解決できた

###二重ループ
今回私が書いたプログラムは二重ループであった。
それで処理時間が長いと怒られたのだが、
二重ループ以外でこの問題を解決する方法がわからなかったので、
愚行かと思ったができるだけ書き方のみでプログラムの実行時間を短くできないか取り組んだ。

###ループで回す対象をrange(int)からlst
最初はrangeで数字を回し、
二次元配列にindexでアクセスしていた。
これをlistでループを回しアクセスするときは一次元配列にした。
これでだいぶ実行時間が早くなり、エラーが解消された。
ちなみに、listをループを回したのは外側だけであり、
内側はindexのままである。

###結論
paizaにrun time errorで怒られた原因は
二重ループが原因だったというより、多次元配列に二重ループでアクセスしたことにより、実行時間が膨らんだことが原因だった模様。

### 調べてわかった新たな知見
ループでindexを回すのであればできるだけ、配列を回した方が実行時間が早

Google Cloud Functions(Python) でIP制限を行う

# 背景
Google Cloud FunctionsでIP制限を行いたい。
VPCSCやCloud Load Balancer経由のアクセスにすることによってIP制限を行う方法があるが、少し面倒。
今回はシンプルにpythonコードでIP制御をすることにした。

# 実装
Google Cloud FuntionsのPythonはFlaskで実装されている。
Flaskのリクエスト元アドレスは `request.remote_addr` で取得できる。

“`py
import ipaddress

def ip_allowed(ip):
ip = ipaddress.ip_address(ip)
nw = ipaddress.ip_network(ip_range)
return (ip in nw)

def main(request):
if not ip_allowed(request.remote_addr):
raise Exception(f”IP not allowed: {request.remote_addr}”

【python】IBM watson speech-to-text サンプル動かすときのエラー「Handshake status 403 Forbidden」の原因

音声ストリーミング文字起こしアプリのサンプルを動かす中で
躓いたところがあったので共有の意味も込めて投稿します。

【環境】
• mac big sur 11.2.3
• venv python3

【参考資料】
youtube: https://www.youtube.com/watch?v=YCyuZM454_I
Github（IBM） : https://github.com/IBM/watson-streaming-stt

【躓いたこと】

実行時、

“`
Handshake status 403 Forbidden
“`

というエラーが発生し、動作しない。

【原因】

speech to textセービス作成時のロケーション設定の問題。

【解決方法】

サービス作成時に
ロケーションを「東京（ja-tok）」にせず「ワシントンDC（us-east）」にする。

![スクリーンショット 2021-09-07 10.50.40.png](https://qiita-image-store.s