Python3関連のことを調べてみた2022年09月20日

[python]ニコニコ動画のダウンロード mylistから一括

ニコニコ動画のダウンロード　マイリストから一括
ただのメモに近い。

“`python
# -*- config: utf-8 -*-
#——————————————————————————
# import
#——————————————————————————
from niconico import NicoNico
import pprint
import concurrent.futures
import time

# 並列用のラッパー
def wapper_x(line_list, max, b):
for i in range(len(line_list)):
if i % max == b:
url = line_list[i][1]
with client.video.get_video(

スマートウォッチから取得したデータを分析してみる

# Garmin製スマートウォッチ
先日、Garmin社のVenu2Sというスマートウォッチを興味本位で購入しました。
Apple Watchと迷ったのですが、ヘルスメーター的な使い方をしてみたかったので、悩んだ挙げ句こちらを買いました。

こんな時計です。
https://www.garmin.co.jp/products/wearables/venu-2s-tundra-champagne/

# 意外に開発者向けツールが充実していた
はじめは、「アプリがあってスマホ連携ぐらいはできるんだろうな」と思っていたのですが、公式SDKがあってホーム画面に表示するデータをカスタマイズできたり、取得したデータは全部CSVで出力できたりと、意外に面白い機能がたくさん揃っていました。取得できている主なデータは以下のようなものです。
* ストレスレベル
* 登った階数
* 歩数
* 血中酸素
* 呼吸数
* 睡眠時間
* 睡眠スコア
* 消費カロリー
* Body Battery（残り体力的な数値です）

Body Batteryやストレスレベルは心拍等の生の値とは違い、取得できているデータ

正規表現：曖昧なパターンはエンジンによって動作が変わる（教訓）

検索してどういうことなのか調査してみようとしたのですが、上手に検索できませんでした…。
検索しても全然それっぽい情報が出てこない！
のでとりあえず記事にしてみます。

もし原因をご存じの方いましたらお教えいただけると嬉しいです…！

# 環境
– グループ1（JavaScript系）
– JavaScript (Firefox 104.0.2)
– JavaScript (Google Chrome 105.0.5195.127)
– グループ2（Perl系など）
– PCRE (PHP 7.3.11 & PCRE 10.32 2018-09-10: [RegExr.com](https://regexr.com/))
– Python 3.10 (re モジュール)
– コメントに頂いた検証：Ruby 3.1.2 (Onigmo)
– コメントに頂いた検証：CotEditor 4.3.4 (ICU)

PCREは「PCRE ライブラリは、Perl 5 と同じ文法構文を用いた 正規表現パターンマッチ処理を実装した関数群ですが、多少異なる点もあります (以下を

指定した範囲内における自然数の試行回数を割り出し、試行回数の最大値を持つ自然数を算出するプログラムを作る　【コラッツ予想】

(使用する言語はpythonのみ　専門的な数学の知識は一切使わず、ライブラリも極力使用しません)

【コラッツ予想とは】

適当な自然数を決める。
自然数が偶数の場合は2で割り、奇数の場合は3倍して1を足す　それをひたすら繰り返していくとどんな自然数も1になるというのがコラッツ予想

例えば”5″で計算するとどうなるか
5*3 + 1 = 16
16/2 = 8
8/2 = 4
4/2 = 2
2/2 = 1

結果は5回試行を繰り返したのち1に収束した。
このように、どれだけ大きい自然数でも必ず1に収束するらしいが、その証明方法は未だに見つかっていない。

そこで今回は、コラッツ予想の証明は一旦諦め、適当な数字の試行回数を算出するプログラムを作ることにした。

次のようなシンプルなコードで実行することができる。
“`
#Collatz予想

ntnum = int(input(‘自然数を入力してください >>’))
count = 0

while ntnum != 1:
if (ntnum % 2 == 0):
ntnum = ntnum/2
e

【初学者】文系インフラエンジニアのプログラミング勉強法【Python】

# これから先生きのこるには
自分は文系出身のインフラエンジニアです。
プログラミングは無縁だと思って生きていました。
業務上必要になる事が少ないため周りの人も、同じような人が多かったです。
しかし昨今、プログラミングの必要性を感じて学習をしているため記事にしたいと思います。

IaaSやクラウドネイティブな開発が一般的になりました。
その流れでアプリケーションエンジニアがインフラ領域に携わる事が増えていると感じています。
サーバーレス環境はOSやミドルウェアを意識しなくてよいためインフラ的な要因が少ない為です。

また、AWSなどのクラウドサービスではAPIを公開しており利用者で自動化などの取り組みが可能です。
プログラミングでAPIを叩いてインフラを管理するのです。
するとプログラミングが全く出来ないとインフラ業務の幅も狭くなってしまいます。
プログラミングが出来る人と出来ない人の格差が圧倒的に広がっていくと思っています。

以上のことから、これから先生きのこるにはインフラエンジニアもプログラミングを勉強した方がいいと考えています。

![character_kinoko.png

python GUI入門　 QtDesigner + pySide　スライダーテキストボックス動作連携(小数点表示)

# 実行サンプル
小数以下でのスライダー動作。(Qsliderそのものは、0以上しか対応していないので換算あり。）
スライダーを動かすと、テキストボックスに値が入る
テキストボックス入力すると、スライダーが連携して動く。

# 実行環境
windows10
python3.9.5
Qt5.1.5 (QtDesigner6.0.2コミュニティ)

pythonモジュール：pySide6（pipでインストールしておく）

# 実行手順
ソースコードを作成する
windowsコマンドプロンプトでプログラム作成したフォルダに移動し、下記実行する
“`
python mainwindow.py
“`

# ソースコード作成手順
参考
https://qiita.com/taiko1/items/c19d75ba09d60ae5f5a6#4%E3%

RaspberryPi4BにPython3.10をインストールした

# やること
RaspberryPiにPython3.10をインストールして使えるようにする。

# 背景
WSL2で作ったPythonスクリプトをRaspberry Pi 4Bで実行しようとしたらエラーがでた。
よくよく観察すると、Pythonのバージョンが古いことが原因っぽい。
Pythonのバージョンを見てみたら、3.7xxとかだった。

# RaspberryPi のバージョンとか
HW: Raspberry Pi4B
OS: RaspberryPiOS(64bit)
“`
$ uname -a
Linux raspberrypi 5.10.17-v8+ #1421 SMP PREEMPT Thu May 27 14:01:37 BST 2021 aarch64 GNU/Linux
$ lsb_release -a
No LSB modules are available.
Distributor ID: Debian
Description: Debian GNU/Linux 10 (buster)
Release: 10
Codename: buster
$ cat /

psycopg3の「AttributeError: partially initialized module ‘psycopg’ has no attribute ‘connect’ (most likely due to a circular import)」でハマった

# 発生事象
以下のスクリプトを実行しようとしたところエラー発生

“`python:select.py
import psycopg;

con = psycopg.connect(
host = ‘mydomain.jp’,
port = 5432,
dbname=’sample’,
user=’admin’,
password=’sample’);
“`

“`bash
$ python3 select.py
Traceback (most recent call last):
File “select.py”, line 1, in
import psycopg;
File “/usr/local/lib/python3.8/site-packages/psycopg/__init__.py”, line 9, in
from . import pq # noqa: F401 import early to stabilize side effects
File

[python] youtubeダウンロード＋mp3変換＋タグ付け＋アートワーク

youtubeダウンロード＋mp3変換＋タグ付け＋アートワーク
メモに近い。

“`
# -*- config: utf-8 -*-
#——————————————————————————
# import
#——————————————————————————
import os
import glob
import json
from pickle import TRUE
from mutagen.easyid3 import EasyID3
from mutagen.id3 import APIC, ID3
import requests
import time
import concurrent.futures
import argparse
import inspect
import custom_logger

loglevel = ‘DEBUG’

毎日のMicrosoftFormsに自動回答して寝る

# hi
はろー
##### 現役JKのTrimscashだぞ

今日はこんな感じの定期的に出さなきゃいけないFormsを自動的に出して幸せになるぞ
2段階認証の必要なサービスも自動化可能

サンプルフォーム

https://forms.office.com/Pages/ResponsePage.aspx?id=XYP-cpVeEkWK4KezivJfyH11yZXFh-dKnUF3d_rMgjRUOEozUDRWODBHMDBNRkNCOExOUlFYNUtWNS4u


# 環境構築
まずPython3でChromeの自動操作をするには，
– Selenium
– Chrome
– ChromeDriver

が必要です．

Chromeは入ってるとして，，，

### Slenium
Seleniumはpipで一発でげす
“`
>p

変動のあるデータにベースラインを引く

# 概要

例えば、こういった観測値があったとします。

“`python
# — ライブラリパッケージ読み込み —
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
plt.rcParams[‘font.family’] = ‘Yu Mincho’

# — データ作成 —
n = 40 # データサイズ
ndX = np.linspace(0.0, 4, n) # X
ndY = 0.5*ndX + np.random.normal(0,0.1, n) # Yのトレンド部分

# Yの変動部分
ndY[5:13] += 1 # 5～13を上に１ずらす
ndY[25:35] -= 3 # 25～35を下に3ずらす

# Yの外れ値
ndY[5] = -2
ndY[10] = 10

# — グラフ表示 —
fig = plt.figure(facecolor=’w’, figsize=(8,4))
ax = fig.add_subplot

2カ月FE攻略～0日目～

# 目次
[1.はじめに](##-はじめに)
[2.Pythonを導入しよう](##-Pythonを導入しよう)
[3.VSCodeを導入しよう](##-VScodeを導入しよう)
[3.基本操作と四則演算編](##-基本操作と四則演算編)
## はじめに
前回は使用する書籍の紹介を行いました。（Markdown式の記述を推奨してくださった方、ありがとうございます。）

この記事では午後試験対策としてPythonを選んだ理由、導入手順、初歩的なコードについて書きたいと思います。
## なんでPython？
理由は大きく2つあります。
– アルゴリズムをきちんと学ぶことで午前問題との相乗効果を狙っている。
– データ分析をRで扱ってきたが、データサイエンスとしてはPythonの方が一般的（なイメージ）なので学び直したい。

つまりは基本情報技術者試験の勉強を足掛かりにして、実用的なデータサイエンスを学びたいというわけです。
## Pythonを導入しよう
前提として、この日記ではPython3.10.6を使っています。

まずは[ここから](https://www.pytho

自作のPythonのSVG用ライブラリでパスの描画をサポートしました。

趣味で作っているPythonのSVGベースのapyscというフロント用のライブラリでベジェ曲線などを含めたパスの描画をサポートしたので記事にしておきます。

# ライブラリの概要

パスの描画機能の前にライブラリの基本情報について軽く触れておきます。

## 関連ページ

GitHub:

https://github.com/simon-ritchie/apysc

日本語ドキュメント:

https://simon-ritchie.github.io/apysc/jp/jp_index.html

今回追加になったパス関係のドキュメント:

https://simon-ritchie.github.io/apysc/jp/jp_path.html

## インストール

pipでインストールができます。本記事では執筆時点で最新のv2.5.20を使っていきます。

“`
$ pip install apysc==2.5.20
“`

## 本記事の実行環境

本記事執筆用には楽なのでColaboratoryを使っていきます。

ノートブック上で以下のように記述することでインストー

Stable Diffusionをローカル環境で動かした

## 環境
– windows11(64bit)
– vs code:1.71.1
– RAM16G
– GPU NVIDIA GeForce RTX 3060
– python3
– pip
## hugfaceに登録する
Stable Diffusionをローカル環境で動かすためには[Hugging Face](https://huggingface.co/)のアカウントを作る必要がある。
>[【簡単】ローカル環境でStable Diffusionを実行する方法](https://self-development.info/%e3%80%90%e7%b0%a1%e5%8d%98%e3%80%91%e3%83%ad%e3%83%bc%e3%82%ab%e3%83%ab%e7%92%b0%e5%a2%83%e3%81%a7stable-diffusion%e3%81%a7%e5%ae%9f%e8%a1%8c%e3%81%99%e3%82%8b%e6%96%b9%e6%b3%95/
)

### hugfaceに登録

https://huggingface.co/blog/stab

基本情報技術者試験を2か月で取りに行く男の記録

## 知識も時間もない！だけど絶対取る
はじめまして。ただの学生です。

遅ればせながらこの度22年度下期試験の対策を開始しましたので、備忘録も兼ねていくらか投稿していくことにしました。

プログラミング知識はほぼゼロ！なので主に午後試験の対策を書いていくことになると思います。
（ゼミでR、それ以外はC#やPythonを触ったことがある程度です。Progateの初学者コースだけやったみたいなイメージ。）

出来るだけ毎日、学んだことを挙げていければいいなと思ってます。

初投稿なので細かい話はナシにして、とりあえず使用文献を紹介します。
## **午前試験対策**
– イメージ&クレバー方式でよくわかる 栢木先生の基本情報技術者教室（技術評論社）
　∟おすすめ書籍としてよく上がっていたので購入。好きなのでいいと思う。
– 基本情報技術者過去問道場（[基本情報技術者試験ドットコム](https://www.fe-siken.com/fekakomon.php)）
　∟Webで手軽に演習できる！
## **午後試験対策**
– うかる！基本情報技術者 午後・アル

【Django】prefetch_related の挙動を理解する

# Djangoのprefetch_relatedについて
prefetch_relatedはDjangoのN+1問題を回避するための機能です。
select_relatedと並び重要なメソッドですが、理解が曖昧な部分があったので整理したいと思います。

## DjangoのSQLが実行されるタイミングについて
DjangoがDBを叩きにいくタイミングについて確認しておきます。

### 1.メソッドが呼ばれたタイミング
いくつかのメソッドはクエリセットは返さずに、呼び出されたタイミングでDBを叩きに行きます。
代表的なものをあげておきます。
| メソッド名 | 機能 |
| —- | —- |
| first() | はじめの一つを取得する。返す値がない場合は None を返す |
| last() | 最後の一つを取得する。対象がない場合は None を返す |
| get() | 一つのオブジェクトを返す。対象が1つ以外の場合は models.DoesNotExists, models.MultipleObjectReturned エラーが起きる|
| count() |

pandasでpivot_tableしつつグループごとにdescribeで統計量を見たい

# はじめに
pandasの`describe()`はとっても便利だけど、`groupby`とか`pivot_table`とかで、任意のグループごとにdescribe()して統計量をパパっと見ることはできないものか？

# pandasの`describe`とは？
データ数、平均、標準偏差、四分位点をさっと調べてくれます
“`py
import pandas as pd
import seaborn as sns
df=sns.load_dataset(“iris”)
df.describe()

#sepal_length sepal_width petal_length petal_width
#count 150.000000 150.000000 150.000000 150.000000
#mean 5.843333 3.057333 3.758000 1.199333
#std 0.828066 0.435866 1.765298 0.762238
#min 4.300000 2.000000 1.000000 0.100000
#25% 5.100000 2.80000

GoogleDriveのラージ、スモール共有ファイルをGET（Python日本語習作）

# 過去記事でBashだけでやったものをPython関数化
[過去記事](https://qiita.com/engbJapan/items/829ac9be3df50d9ae96f )にて、Bashで強引にGoogleDriveのラージファイルだけを、取得する手順にて判断が出来ない物を同じくしたら、エラーを吐きました。
そのため、Python関数化にチャレンジした習作です。

利用した機能（記法）：
．[open](https://docs.python.org/ja/3.7/library/functions.html?highlight=open#open)
．[shlex.split](https://docs.python.org/ja/3.7/library/shlex.html )
．[subpurocess.Popen](https://docs.python.org/ja/3.7/library/subprocess.html?highlight=subprocess#popen-objects )
．[フォーマット済みリテラル「fで始まる変数を組み入れている箇所」]

Flaskでファイルのダウンロード・アップロードを実装してみた

Flaskでファイルのやり取りができる方法を調べてみたので、忘れないようにメモを残します。

# ファイルのダウンロード

下のプログラムは、クライアントでのブラウザのURL欄に`http://[サーバのIPアドレス]/xxx.bin`と入れると、サーバにある`yyy.bin`というファイルをダウンロードし、クライアント上に`zzz.bin`という名前で保存する、という動作を行います。

“`:ファイル構成
.
├── download.py
└── yyy.bin
“`

“`python:download.py
from flask import Flask,send_file

app = Flask(__name__)
@app.route(“/xxx.bin”,methods=[“GET”])
def download():
return send_file(“./yyy.bin”,mimetype=”application/octet-stream”,as_attachment=False,download_name=”zzz.bin”)

if __name

Ubuntu 18.04でpip install しようとすると”ModuleNotFoundError: No module named ‘pip._internal’が出る。

# pip が見つからない
“`
pip install pandas
“`

“`
“ModuleNotFoundError: No module named ‘pip._internal’
“`
と出る。。。
pip を再インストールする。
“`
sudo apt install python-pip
“`
“`
sudo apt install curl
“`
“`
curl “https://bootstrap.pypa.io/get-pip.py” -o “get-pip.py”
“`
“`
sudo python get-pip.py
“`
バージョン確認
“`
pip –version
“`
apt update
“`
sudo apt update
“`
apt upgrade
“`
sudo apt upgrade
“`
# pip3 もインストール
“`
sudo apt install python3-pip
“`
“`
pip3 –version
“`
# あとはご自由にpip install
“`
sudo