f@ctor

Python3関連のことを調べてみた2022年10月27日

Python3関連のことを調べてみた2022年10月27日
目次

Python3.11がどれくらい高速化したのか

# はじめに
Pythonといえば人口の多さとライブラリの豊富さと情報の多さが強みで
初心者でも簡単に実行できるしWebフレームワークから機械学習までなんでもOKな万能言語

ただひとつ問題点を上げるなら実行速度がナメクジ
C言語もこれにはニッコリ

ところが今回の3.11ではこれが従来比平均1.25倍らしい
すげえ

# さっそく試してみた

Pythonで重たい処理といえばforループとListへのappendだと思ってます
なので適当に100万回forループさせて処理速度を計測してみました

“`python
import time

s = time.time()
l = []
for i in range(1000000):
l.append(i)

print(time.time() – s )

“`
比較したのはPython3.10
それぞれ10回実行した結果とその平均が下記

||3.10|3.11|
|–:|–:|–:|
|1|0.151611089706420|0.110505104064941|
|2|0.127127647399902|0.1

元記事を表示

Pythonの高速Webフレームワーク FastAPI に、rinna社の言語学習済みモデル（計4.7GB）を搭載して、Cloud Run で動かしてみた

# この記事はなに？

３行でまとめるとこうだよ。

1. Pythonの高速Webフレームワーク FastAPI に
1. rinna株式会社が公開している日本語特化の事前学習済みモデル（計4.7GB）を載せて、
1. 文章の空欄埋めや自動生成をできるDockerコンテナを Cloud Run で動かしてみた

学習済みモデルを２件まとめてDockerイメージ内に組み込むから、イメージサイズはかなり膨れ上がるよ。 **モデルだけで4.7GB、他を合わせるとおよそ5GBのコンテナイメージになる。**

だけど Google Cloud Run には「Dockerイメージのサイズが大きくても起動が早い」という強みがあるから、たとえDockerコンテナイメージのサイズが5GBを超える巨大なものだったとしても、ある程度まともな速度でコンテナを起動してくれるかもしれない…という（甘い）期待のもとにこの構成を試してみたよ。

▼ 参考
> Cloud Run のコンテナ イメージ ストリーミング テクノロジーのため、コンテナ イメージのサイズは、コールド スタートやリクエストの処理時間に影響

元記事を表示

twitter apiとtkinterでツイート送信画面を作ります

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2134624/bb897907-f1b7-de48-645d-dca678184184.png)

# 環境
windows11
Python 3.9.6
# はじめに
今回はtwitter apiとtkinterでツイート送信画面を作ります。twitter開発者登録のやり方やトークン類の取得の仕方は説明を省略しています。
# コード
トークン関係をまとめるkeys.pyと画面関係をまとめるgui.pyに分けてコードを書きます。
“`python:keys.py
import tweepy

class Apikeys:
CK = ” # Consumer API key
CKS = ” # Consumer API Secret key
AT = ” # Access token
ATS = ” # Access token secret
auth = tweepy.OAuthH

元記事を表示

federated learningについての説明

※この記事の続きです。

https://qiita.com/magisystem0408/items/804b420bdc2842370089

## FLとは、何ができるのか？
ML(マシンラーニング)は聞いたことあるはず。実はその上にFLと言うものがある。
その名を、`federated learning`、連合学習と呼ぶ。

#### AIを使えるようにするには、以下2つを考える必要がある。
– いかに推論精度を上げられるか？
– いかに学習速度を上げられるか？

この内、連合学習とは、いかに`学習速度を上げられるか？`に使用される。
(要するに、勉強時間を少なくして、テストで高得点を取るかのうちの、勉強時間を少なくする方)

#### 学習速度を向上させるには、以下2つを考えられる。
– 学習させるPC、インスタンスなどの性能を上げる。(スペックを上げる。)
– 学習させるPC、インスタンスの数を増やす。(学習環境を分散させる。)

(要するに、地頭いい人、1人に勉強させるか、頭良くないけど、100人同時に勉強させるかのうちの100人の方。)

この内連合学習とは、

元記事を表示

（Python3）とあるDBにおける文章分類を学習したモデルの作成を行い、別のDBの文書分類に使おう、という機械学習のプロジェクト（２）

# （前書き）
[前回](https://qiita.com/tomofu74/items/c148b833ccfb44ad0626)、修行（訓練）に入ったところ。今回はその続き。さて、学習を続行してきた標記の文章分類学習モデル・・・。一週間経っても、計算が終わらない、どころか学習の進捗状況を表示しない・・・
![スクリーンショット_20221024_202521.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/699890/b60667c1-f931-7676-ddb7-d58172659742.png)

１％も進んだように見えねぇなんて、精神と時の部屋もあったもんじゃねーべや。（ヤジロベー風）しかもよ、WindowsUpdateが入ってもうて、なんか再起動しろとかWindowsのメッセージが右下のほうからハチャメチャに押し寄せてくる・・・カリン塔で仙豆でもくうか・・・

いや、何かがおかしい。環境を再構築することにした。

# （この部分は個人の備忘録）
前回はWSL2で jupyter noteb

元記事を表示

[python] distutilsが非推奨でwarningが出る時の解決

pylintにsetup.pyをかけたところ，

“`pylint setup.py
setup.py:12:0: W0402: Uses of a deprecated module ‘distutils.core’ (deprecated-module)
“`

と警告が出力された．

【解決方法】
python3.10および3.11から，distutilsが非推奨となる．
(https://setuptools.pypa.io/en/latest/deprecated/distutils-legacy.html)

新たにsetuptoolsを使う必要がある．

“`setupt.py
from distutils.core import setup
“`

から

“`setup.py
from setuptools import setup
“`

に変更することで警告を解消．

元記事を表示

４０代おっさんPythonを勉強する（データ解析,Pandas編①）

## 本記事について

この記事はプログラミング初学者の私が学んでいく中でわからない単語や概要を分かりやすくまとめたものです。
もし不正などありましたらコメントにてお知らせいただければ幸いです。

## Pandas

– データ分析を支援するPythonのライブラリ
– 元々金融データの操作のために設計された
– スプレッドシートやリレーショナルデータベースの処理ができる
– DataFrameという基本データ構造を定義されている
– 科学データだけではなく、ビジネスデータの処理でも単純化している
– ホームページ [https://pandas.pydata.org](https://pandas.pydata.org)
– ドキュメンテーション [https://pandas.pydata.org/pandas-docs/stable/](https://pandas.pydata.org/pandas-docs/stable/)

## データの可視化

– データをグラフとして見せる
– 数字だけよりわかりやすい
– Pandasで簡単なグラフをすぐに作成できる
– Ma

元記事を表示

いろいろな機能をpythonに追加してみた(print, if, while 関数)(cpython)

# はじめに
このブログは、eeic2022の３年後期実験、大規模ソフトウェアの第５班の成果報告のブログである。
今回は、c言語を用いてpythonにunless文(if文と同じ機能)とuntil文(while文と同じ機能)を追加してみた。また、print関数をc言語のprintf関数のように、自動で改行したり空白を開けたりする機能を失わせてみた。そして、元のprint関数の機能を持つprintln関数を追加してみた。

###### pythonの文法がどのように構築されているかを知る
いつもpyhtonを使ってるけど、実際に文法がどういう仕組みで成り立っているのかは知らないことが多いですよね？そこで、ソフトウェア初心者がpythonの構造を理解するために、新しい文法unless文、until文の追加を試みました(機能はif文、while文と同じだけど、仕組みを理解するためだけなので許して)。

###### print関数が使いにくい
pythonのprint関数って便利なようで便利じゃないかも？
例えば、以下のように自動的に改行されてしまう。
“`python
print(“

元記事を表示

Python3: モンテカルロ法で円周率を求める

こちらのページを参考にしました。
[モンテカルロ法で円周率を求めるのをPythonで実装](https://note.com/shimakaze_soft/n/n9547f5c0bae0)

## プログラム

“`py:pi_monte_carlo.py
#! /usr/bin/python
#
import random
import math
# ——————————————————————
def calc_pi_proc(nn):
point = 0
for it in range(nn):
xx = random.random()
yy = random.random()
if math.hypot(xx,yy) < 1.0: point += 1 pi = 4.0 * point / nn # return pi # # ------------------------------------------------------------------ fo

元記事を表示

４０代おっさんPythonを勉強する（プレーンテキストファイルの読み書き編）

## 本記事について

この記事はプログラミング初学者の私が学んでいく中でわからない単語や概要を分かりやすくまとめたものです。
もし不正などありましたらコメントにてお知らせいただければ幸いです。

## 基本のファイル入出力

– ファイルの読み書き

“`python
tobj = open(filename, mode)
“`

– fobjはopen()関数が返したファイルオブジェクト
– filenameはファイル名、場所がわかるようにパスも必要な場合がある
– modeはファイルのタイプや操作モード
– 第一文字
– `r`=>読み出し、ファイルが存在しない場合はエラー
– `w`=>書き込み、ファイルが存在しない場合は新しく作り、存在する場合は上書き
– `x`=>書き込み、ファイルが存在する場合はエラー（上書きミスを防ぐため）
– `a`=>書き込み、ファイルの後ろに追記
– 第二文字
– `t`=>テキスト
– `b`=>バイナリ
– デフォルトは`rt`、テキストの読み出し
– 最後にファイルを閉じる必要があ

元記事を表示

４０代おっさんPythonを勉強する（CSVファイルの読み書き編）

## 本記事について

この記事はプログラミング初学者の私が学んでいく中でわからない単語や概要を分かりやすくまとめたものです。
もし不正などありましたらコメントにてお知らせいただければ幸いです。

## 構造化されたテキストファイル

– 単純なテキストファイルだと、情報を探すのが大変なので、構造的なデータを作るのが一般的
– これらの構造化ファイル形式を読み書きのPythonモジュールが提供されている
– 良く使われる形式は下記のようになる

| 形式 | 形式や言語 | 特徴 |
| — | — | — |
| CSV | Comma-Seperated Values | セパレーター、区切り子：タブ（’\t’）、カンマ（’,’）、縦棒（’\|’）、コロン（’:’）など |
| XML | Extensible Markup Language | タグ’<'と'>‘で囲む |
| JSON | JavaScript Object Notation | 記号を駆使するもの |
| YAML | YAML Ain’t a Markup Language | インデント |

元記事を表示

Deepspeedの「unhandled system error, NCCL version 2.7.8」の対処法

# 症状
DeepspeedをDockerコンテナを使ってマルチGPUで学習しようとしたところ，以下のようなエラーを出して止まってしまった．
“`
RuntimeError: NCCL error in: /pytorch/torch/lib/c10d/ProcessGroupNCCL.cpp:825, unhandled system error, NCCL version 2.7.8
ncclSystemError: System call (socket, malloc, munmap, etc) failed.
“`
当初，nccl系のエラーだと思いバージョンを変えてみたが，改善しなかった．

# 解決方法
どうやら，Dockerコンテナに割り当てられているshared memoryが64MBと少なすぎたのが原因っぽい．わりあてられているめもりりょうはコンテナ内で以下を実行するとshmの行から確認できる．
“`bash
$ df -h
shm 64M 0 64M 0% /dev/shm
“`
なので，Dockerコンテナを起動さ

元記事を表示

Raspberry Pi Zero W(H)のPythonバージョン統一とNode-red の使用法

# はじめに

RaspberryPiの中でパフォーマンスと、省エネ性、コストが一番ベストと思われる
Raspberry Pi Zero W（H)を使いこなすうえで少し、困惑したので備忘録的に記載します。

以前　8/29に投稿した記事で、私はRaspberry Pi OS（Legacy）でDesktopに対応しているものをインストールしました。2022年10月現在クリーンインストールした状態では、下記の通りのバージョンです。

Linuxのバージョン
“`
pi@raspberrypi:~ $ uname -a
Linux raspberrypi 5.10.103+ #1529 Tue Mar 8 12:19:18 GMT 2022 armv6l GNU/Linux
pi@raspberrypi:~ $
“`

Raspbian OSのバージョン
“`
pi@raspberrypi:~ $ lsb_release -a
No LSB modules are available.
Distributor ID: Raspbian
Description: Raspbian GN

元記事を表示

アルゴリズム実技検定(PAST) 第11回 D問題 Python解答例(Union-Find使用と不使用)

Supershipの名畑です。

前回の記事「[アルゴリズム実技検定(PAST)について 並びに 第11回A〜C問題 Python解答例](https://qiita.com/nabata/items/0421f20e8ec849ee70ad)」の続きです。
アルゴリズム実技検定(PAST)第11回のD問題の私の解答例(Python3)を公開します。

私が解いた感覚だと、D問題〜F問題(7点問題)でABC(AtCoder Beginner Contest)のB問題とC問題の間ぐらいの難易度でしょうか。

未読の方は「[採用活動のために競技プログラミング（AtCoder）を始めて一年経ったので感想を書きます](https://qiita.com/nabata/items/44fa3995e476b12b9860)」も一緒に読んでいただけると嬉しいです!

## 第11回の過去問題全部

– [第11回](https://atcoder.jp/contests/past202206-open)

## 第11回 D問題 似ている文字列(7点) 解答例

### 問題

– [D – 似て

元記事を表示

functoolsのlru_cache, cacheデコレータはメソッドには使用してはいけない

Pythonの標準ライブラリ[functools](https://docs.python.org/3/library/functools.html)にある、`cache`と`lru_cache`デコレータですが、メソッドにも使えそうですが、使ってはいけないということが下記のビデオで詳しく解説されています。

使ってはいけない理由は、キャッシュ付きメソッドがコールされたインスタンスは、一生ガーベージコレクションされないで残ってしまうからということです。メソッドの第一引数に`self`が渡されるので、キャッシュが`self`をキーとして保存してしまうためです。

この問題は回避可能で、その方法も上記のビデオで紹介されています。
例えば、下記の`double`をキャッシュしたいとします。

“`python
from functools import cache

class Foo:

def __init__():
pass

def double(self,

元記事を表示

PythonでCodilityのLesson4 MaxCountersのスコア100%

# はじめに
　タイトル通りです。下の問題をPythonで解きました。
[MaxCounters coding task – Learn to Code – Codility](https://app.codility.com/programmers/lessons/4-counting_elements/max_counters/)

# 回答コード
“`python
import collections

# Aは空じゃないリスト
# Aの各要素は、1~N+1
def solution(N, A: list):
if (len(set(A)) == 1):
if (A[0] == N+1):
return [0] * N
else:
counters = [0] * N
counters[A[0] – 1] = len(A)
return counters

# Aの中から、要素がN+1の全インデックスを探す
indexs:

元記事を表示

typescriptのtypeと同じような動きをpythonで実装したい。

以下のようにObjectに型をtypescriptでつけることがある。これをpythonでも同じようにやりたい。

“`typescript
type ProfileInterface = {
name: string
title: string
email: string
}

const profile_objects: ProfileInterface = {
name: “test”,
title: “mamushi”,
email: “test@hoge.com”
}
“`

## 【解決策】TypedDictを使用する。

“`python
from typing import TypedDict

class ProfileInterface(TypedDict):
name: str
title: str
email: str

profile_objects: ProfileInterface = {
“name”: “mamushi”,
“title”: “types

元記事を表示

python chromedriverのpathを通せなくて困った話し

python3でselenium　chromedriverをmacでインストールするのにターミナル
`brew install chromedriver`

で、インストールまでは良かったけど
“`
driver = webdriver.Chrome() 〜省略〜
selenium.common.exceptions.WebDriverException: Message: ‘chromedriver’ executable needs to be in PATH
“`
のエラーメッセージ
パスが通ってないのはすぐに分かったけど、
homebrewでインストールしたchromedriverがどこにあるのか見当たらず。
下記のコマンドでHomebrewにインストールされたパッケージの場所の確認ができるとのことなので実行
“`
brew –prefix chromedriver
Error: No available formula with the name “chromedriver”. Did you mean chrome-cli?
“`
なんでー！
再インストールしたり

元記事を表示

４０代おっさんPythonを勉強する（パッケージとモジュール編）

## 本記事について

この記事はプログラミング初学者の私が学んでいく中でわからない単語や概要を分かりやすくまとめたものです。
もし不正などありましたらコメントにてお知らせいただければ幸いです。

## パッケージとモジュール

### スタンドアロンプログラム

– 現実的な大規模のプログラムはファイルに保存してスタンドアロンプログラムを作成しなければならない
– filename.pyのプログラムを書いてみよう

“`python
print(‘こんにちは’)
“`

上記のPthyonコードをtest1.pyというファイルに保存
ターミナルウィンドウで開いてPythonのコマンドで実行

“`bash
python3 test1.py
“`

### コマンドライン引数

コマンドライン引数とは、コンピューターのコマンド入力画面（コマンドライン）からプログラムを起動する際に指定する文字列のこと

– test2.pyを作成

“`python
import sys
print(‘プログラム引数:’, sys.argv)
“`

“`bash
python3 test

元記事を表示

Python、selenium、webdriverでログイン後の画面の要素をスクレイピング（仮）

# 前提
“`
$ python –version
Python 3.9.0
$ pip list
Package Version
—————- ———
pandas 1.5.1
selenium 4.5.0
“`

# コード
“`scraping.py
from selenium.webdriver.common.by import By
from selenium import webdriver
import pandas as pd
import csv

USER = ‘メールアドレスとかIDとか’
PASS = ‘パスワード’

browser = webdriver.Chrome()
# ログイン画面
browser.get(‘ログイン画面のURL’)

# ID,PW,送信ボタン
elem_username = browser.find_element(By.CSS_SELECTOR, “#ID名やClass名など”)
elem_password = browser.find

元記事を表示

OTHERカテゴリの最新記事