Python関連のことを調べてみた2021年12月06日

pythonに関する自分用メモ

○画面サイズを取得するには，pipでインストールが必要。
anaconda promptで

“`
pip install screeninfo
“`

○pyinstallerでアイコンを変更する方法
–icon==***.ico を加えることで、アイコンを設定。
exe化する .py と同一ディレクトリに ***.ico ファイルを置いておくと簡単。

○画像をフォルダから選択して表示

“`
import tkinter.filedialog as fd
import cv2

global file_path,img1,winName
file_path = fd.askopenfilename(
title = “画像を選択”
)

img1 = cv2.imread(file_path)
winName = ‘image’
cv2.imshow(winName, img1)
cv2.waitKey(0)　　←即時終了防止
cv2.destroyAllWindows()
“`

○画像オープンエラー
ファイル名が日本語だと、エラーになることがある

python画像読み込みエラー

import cv2
print(cv2.__version__)

image = cv2.imread(“./test.jpg”)

image2 = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)

cv2.namedWindow(‘image’)

while True:
cv2.imshow(‘image’, image)
if cv2.waitKey(1) & 0xFF == ord(‘q’):
break
cv2.destroyAllWindows()

実行後
error: OpenCV(4.5.1) /private/var/folders/nz/vv4_9tw56nv9k3tkvyszvwg80000gn/T/pip-req-build-yvyj7qlp/opencv/modules/imgproc/src/color.cpp:182: error: (-215:Assertion failed) !_src.empty() in function ‘cvtColor’

ここを参考に
https:

Selenium/Playwrightで要素が取得できなかった時はJavaScriptを実行するとうまくいく時がある

## 事象

PythonでSelenium/Playwrightを使って、AWS Cognitoの認証ページへのログインを自動化しようとする際、
画面上の要素（入力フォーム）を取得しようとするとエラーが出て要素を取得できませんでした。

怒られ方は

> element not interactable

とか

> timeout

とかであまり参考にならなかった覚えがあります（後日追記予定）

## 解決

それぞれのフレームワークで下記のようにページ内でJavaScriptを実行することで取得ができました。

“`selenium.py
driver.execute_script(“document.querySelectorAll(‘#signInFormUsername’).value =’test'”)
“`

“`playwight.py
page.evaluate(“document.querySelectorAll(‘#signInFormUsername’).value = ‘test'”)
“`

## 考察

上のコードで動いた理由は著者は正確には把握

DatabricksにおけるSpark pandasユーザー定義関数

[pandas user\-defined functions \| Databricks on AWS](https://docs.databricks.com/spark/latest/spark-sql/udf-python-pandas.html) [2021/6/11時点]の翻訳です。

> **注意**
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。

ベクトライズドUDFとしても知られるpandasのユーザー定義関数(UDF)は、データを操作するためのpandasにデータを転送するために[Apache Arrow](https://arrow.apache.org/)を用いるユーザー定義関数です。pandasのUDFを用いることで、行単位で処理を行う[Python UDF](https://docs.databricks.com/spark/latest/spark-sql/udf-python.html)と比べて100倍もの性能改善を実現することができます。

背景となる情報に関しては、ブログ記事[New Pandas

python exe化

こちらを参考に

Pythonのファイルをexe化する方法【初心者向け】

anaconda prompt を起動し
>pip install pyinstaller
を実行する。

最後に警告がでる
WARNING: You are using pip version 21.1.2; however, version 21.1.3 is available.
You should consider upgrading via the ‘C:\Users\rie-s\anaconda3\python.exe -m pip install –upgrade pip’ command.

とあるので，書いてある通り

>C:\Users\rie-s\anaconda3\python.exe -m pip install –upgrade pip

のコマンドを入力すると，なんかめっちゃエラーでる
ERROR: Exception:
Traceback (most recent call last):
File “C:\Users\rie-s\AppData\Roa

cx_Freezeを使ってEXE化

１．anaconda promptでcx_Freezeをインストール

“`
pip install cx_Freeze –upgrade
“`
https://tomomai.com/python_cx_freeze/
を参考。

２．setup.pyファイルを作る。アイコンをつけたい場合は，icoファイルを作成する。
　　以下，setup.pyファイル。

“`
# coding: utf-8
# cx_Freeze 用セットアップファイル

import sys
from cx_Freeze import setup, Executable

base = None

# GUI=有効, CUI=無効 にする
if sys.platform == ‘win32’ : base = ‘Win32GUI’

# exe にしたい python ファイルを指定
exe = Executable(script = ‘MeasureJudge.py’,
base = base, icon=’kabutomusi.ico’)

# セットア

TouchDesigner×Pythonで軽率にOSC通信する方法を初心者向けに説明する

この記事は[Iwaken Lab.アドベントカレンダーの6日目](https://qiita.com/advent-calendar/2021/iwakenlab)です。
# 背景

同一ネットワークのリアルタイム通信を行う場合、UDPやTCP通信など行う場合、OSC通信が有用である場合があります。

例えば、私が以前HoloLensプレゼンを行った時の、HoloLens→Unreal Engineへの通信もOSC通信で行いました。

ここで、入力と出力を増やしたいといった場合に、OSC通信を束ねる役割があると便利になります。(リレーサーバー的な役割)
それをTouch Designerで行う場合のヒントになる記事がこちらになります。


## OSC通信とは

>

【Python】API Gateway + lambda にファイルを post、s3 に保存

「Applibot Advent Calendar 2021」 6日目の記事になります！!どうぞよろしくお願いいたします。

# 1. 概要
ローカルにある csv を lambda に post して、s3にアップロードするまでのメモ。Content-Type の設定をAPI Gateway で行うことを知らず、若干詰まったので記事にしました。

# 2. 目次
– [1. 概要](#1-概要)
– [2. 目次](#2-目次)
– [3. aws リソースの用意](#3-aws-リソースの用意)
– [3.1. ロールの用意](#31-ロールの用意)
– [3.2. s3の作成](#32-s3の作成)
– [3.3. lambda関数の作成](#33-lambda関数の作成)
– [3.4. api gateway の作成](#34-api-gateway-の作成)
– [3.5. 疎通の確認](#35-疎通の確認)
– [4. 参考](#4-参考)

# 3. aws リソースの用意
## 3.1. ロールの用意
– 次のポリシーを持ったロールを作成する

【python】pandas総まとめ（apply / concat）

### はじめに

– バージョン
– Python: 3.6.8
– pandas: 1.1.5

　Pandasは、Pythonでデータ分析を行うためのライブラリです。複数のデータに処理を行いたい場合、
for文で書くことが多いと思いますが、pandasで一度DataFrame（表みたいなもの）に変換してから処理を
行うようにすると、シンプルにコードが書けるようになります。

### サンプルデータ

　まずは以下をサンプルデータとします。列col_aとcol_bがあり、行ごとの計算結果を出力します。

“`python
import pandas as pd

df = pd.DataFrame(
data=[[1, 2], [3, 4], [5, 6]],
columns=[“col_a”, “col_b”],
)
“`

DataFrameとしては以下のようになっています。

||col_a|col_b|
|—|—|—|
|0|1|2|
|1|3|4|
|2|5|6|

### 1列のデータをもとに新たな1列を追加（lambdaを使用

WordCloud でコードレビューコメントの傾向を可視化して改善につなげる

この記事は [カオナビ Advent Calendar 2021](https://qiita.com/advent-calendar/2021/kaonavi) 6日目です！

## はじめに
アプリケーション開発において、コードレビューのプロセスを導入している開発組織がほとんどかと思いますが
組織が大きくなると複数人で分担してレビューすることになり、レビュワーによって観点が多少ブレてしまうことがあります。

また、ESLint 等の静的解析ツールだけでは担保できない観点については
ドキュメントなどで明文化することがレビュワー・レビューイ双方のコスト削減のために重要だと考えています。

今回はコードレビューのコメントの傾向を分析することで
現状はルール化できておらず、レビュー観点として明文化すべき事項がないかを探ってみたいと思います！

## WordCloud とは
WordCloud は文章中の単語を出現頻度に比例した大きさで雲のように並べたものです。

こういうのです↓
![sample.png](https://qiita-image-store.s3.ap-northeas

【ETL処理】第二弾：S3のDatawarehouseに溜めたデータを用いてQuickSightで可視化する流れ

# 最初に
この記事は、ETL処理シリーズの第２弾です！

第一弾：https://qiita.com/ishidao/items/fafb933de5373e8df534
第二弾：本記事！！

前回では、Datalakeに保存した生データを、加工してDatawarehouseに送るという処理を書いていきました。

今回は、Datawarehouseのデータを利用して、AWSが提供するBIツールのQuickSightで可視化するまでの流れを書きたいと思います。

# できるようになること

– QuickSightでのデータの可視化

# 利用サービス

– AWS S3
– QuickSight

# 分析アーキテクチャ
前回のETL処理フローに加え、右側が追加されています。


# マニフェス

Azure DatabricksにてFiles in repos機能により既存Reposにファイルを作成できない事象への対応方法

## エラー要因
Databricks Reposにて、ノートブックだけでなくファイルもアップロードできるようになったのですが、既存Reposにてファイルを作成の手順を実施してもファイルが実際に作成されませんでした。

[Databricks Repos Is Now Generally Available – New ‘Files’ Feature in Public Preview – Databricks ブログ](https://databricks.com/jp/blog/2021/10/07/databricks-repos-is-now-generally-available.html)

実際にどのような動作をしたかを紹介します。
既存のReposにて、右クリック -> `Create` -> `File`を設定選択します。


フ

Pythonクローン作成 少し進めました。

自作Cコンパイラで作っているPythonクローンに==と!=を追加しました。
ぼちぼち作っていきます。

Cコンパイラのソースのyappyに入ってます。

https://github.com/ab25cq/neo-c2

【続】iOSでAirtestを動かす

#はじめに
AirtestIDE でスマホアプリ（ゲーム）のテスト自動化に取り組んでいます。そこで実際に作成したスクリプトを実行する環境をつくるために実施したことを綴っていきたいと思います。:xmas-tree::xmas-wreath1:

こちらは、昨年の記事[「iOSでAirtestを動かしてみる」](https://qiita.com/s_noza/items/f2cc1f398270d3572e5b)の続編になります。
前回課題となっていた横向きアプリへの対応が解決しましたので、そちらの情報共有と、当該環境を使用して本格的に取り組みを進めるにあたり、CLI環境からの複数端末での動作確認を行いましたので、いくつかの関連トピックを交えつつ共有できればと考えています。

#環境
macOS Big Sur 11.6.1
Xcode 13.1
Airtest IDE 1.2.12（Python）
iPhone XS（iOS 14.7.1）
iPhone 8（iOS 15.1）

#セットアップ
##Step1　WebDriverAgent
前回紹介していた iOS-Tagent を

Pythonで形態素解析して韓国語学習

# はじめに
私はK-POPが好きでよく聴くのですが、やはり日本語や英語の曲と比べると歌詞の意味がよく分からなくて十分に楽しめないという課題を抱えていました。
一から学習書を用いて勉強するのが王道かと思いますが、通常の学習書に載っている会話や単語を見てもあまりスッと入ってこなくて学習のモチベーションを保つのに苦労しました。
そこで、K-POPの歌詞から単語を抽出して覚えるために韓国語の形態素解析と単語別の翻訳をしてみようと思いました。
韓国語学習者の方にとって以外は少々読みづらい内容となっているかもしれませんがご容赦ください。

# 利用技術
– プログラミング言語: Python
– 形態素解析: MeCab, Okt
– Pythonライブラリ: KoNLPy, python-mecab-ko
– 翻訳: GASのLanguageApp

# KoNLPyとは
https://konlpy.org/en/latest/
韓国語の自然言語処理を行うためのPythonのパッケージです。名称は`Korean Natural Language Processing in Python`

AWSのAI(Rekognition/Polly/Transcribe/Comprehend/Translate/Textract)サービスを試してみる

# 概要

AWS資格取得に向けて実際にAWSを利用してみるシリーズの投稿です。
今回はAWSサービスの中でAIサービスに分類されるサービスを使ってみる編です。
具体的には以下の6つのAIサービスをAWS Lambdaを使って実際に動かしてみます。
AWSアカウントがあればすべてAWS上で完結されることができるため、お試し簡単な実践編です(^^)

* Amazon Rekognition:画像ファイルをインプットにモノ・人・顔を抽出する
* Amazon Polly:テキストファイルをインプットに音声ファイルを生成する
* Amazon Transcribe:音声ファイルをインプットにテキストファイルを生成する
* Amazon Comprehend:テキストファイルをインプットにインサイトや関係性を検出する自然言語処理 (NLP) サービス
* Amazon Translate:テキストファイルをインプットに翻訳する
* Amazon Textract:画像ファイルをインプットにテキストを抽出する

資格勉強的にはAWSのAIサービスのサービス概要を掴める内容になっています。
興味

?HTMLかHTLMかすら知らなかった初心者による、Webアプリとの格闘の痕跡(後半)?

本記事の構成は以下のようになっています。
>0.　**開発前の下準備「環境構築」**　仮想環境はなくてもなんとかなる。
1.　**Webアプリの基本的な構造**　　URLに頼りまくる。
2.　**とりあえず画像表示してみる**　もしかして、パスってとんでもなく面倒くさい？
3.　**ファイルのアップロード**　　　もしかして、パスってとんでもなく面倒くさい？
4.　**@の外側に変数を連れていく**　sessionは神だが万能ではなかった、、、
5.　**Pythonでの抽選処理**　　　　　例外パターンが意外と多い
6.　**関数を外から連れてくる**　　　もしかして、パスってとんでもなく面倒くさい？
7.　**結果の出力**　　　　　　　　　csvかexcelか。Pandasのおかげで意外と簡単
8.　**見た目を整える**　　　　　　　ここで登場HTLM

後半では、4番から取り組んでいきます。前半はこちら→[HTMLかHTLMかすら知らなかった初心者による、Webアプリとの格闘の痕跡(前半)](https://qiita.com/Marukutekenohaetabuttai

?HTMLかHTLMかすら知らなかった初心者による、Webアプリとの格闘の痕跡(前半)?

#この記事の対象者と活用方法
###1.　初心者の方
この記事は、「Python初心者」「Webアプリ初心者」「Flask初心者」「HTML初心者」のいずれかに当てはまる方、その中でも、過去に”初心者向け”で挫折したことのある方を主な対象としています。
私が悩んだ箇所とその原因を全て書いているので、不必要な所は適宜飛ばしつつ、「こいつマジで何も知らないんだな」と鼻で笑いながら読んでください。
ちなみに、特に苦しんだのはパス関係です。
###2. 　初心者に指導している方
初心者がどこでつまずくのか、初心者はどういう勘違いをするのか等、初心者の生態について理解して頂けたら幸いです。
###3. 　初心者に擬態している熟練者の方
本当の初心者というのがどういうものか、この記事を通して今一度思い出して頂けたら幸いです。

#今回作成するWebアプリ
作成するWebアプリの機能は大きく分けて以下の４つです。

>- **ファイルのアップロード**
– **Pythonを用いたファイルの処理**
– **処理後のデータと画像の表示**
– **処理後のデータのダウンロード**

具体的には、1

機械学習で画像を作りたかった。～1.画像を集める～

とあるテレビ番組で、「絵画をAIで作る」というのをやっていたことを、
最近思い出し、近いことをやってみることにした。

なお、当方はエンジニアでもプログラマでもない

環境
OS　Windows10
開発環境　eclipse
使用言語　Python

今回参考にした記事はこちら
[GANでピカチュウを描いてみる – Qiita](https://qiita.com/hideki/items/4de4928236ca15152c18#%E7%94%BB%E5%83%8F%E3%81%AE%E5%88%87%E3%82%8A%E5%87%BA%E3%81%97:embed:cite)

工程は
・ピカチュウの画像を集める
・あるサイズに加工する
・画像を作る

だそう。

○画像を集める

chromdriver　のパスを確認する画面で引っかかりを覚えたがすすめることにした。

google-images-download　を使って画像を収集

AsanaのAPIを使ってタスクのストーリー（アクティビティ）までを取得してみる

こんにちは。

これはHameeの2021年のアドベントカレンダー、6日目の記事です。

https://qiita.com/advent-calendar/2021/hamee

同じくアドベントカレンダーの @yamamoto_hiroya さんの[4日目の記事](https://qiita.com/yamamoto_hiroya/items/4063e8b31c2ecd9193c7)にもあるのですが、この11月からHameeの開発部署のプロジェクト管理をRedmineからAsanaに変更しました。その関係で、旧来できていた運用の再現や、手間をはぶく新しい運用の適用やツールの作成が急ピッチで進められていました。

https://qiita.com/yamamoto_hiroya/items/4063e8b31c2ecd9193c7

そしてタスクのステータスをAsana上のセクションで管理するようになったのですが、あるとき、そのタスクの差し戻し回数や、保留されている時間を知り、プロジェクト管理の見える化をはかろうとしました。ここではそのためにおこなったAsanaのAPIの疎通方法