Python関連のことを調べてみた2021年09月01日

Pythonで動的にSoql作成

###・要件
Salesforceの項目変更される場合、Soqlに動的に反映する

###・案　Pythonのsimple salesforceで実行する
#####Pythonのインストール（WindowsStoreで）
pip更新：python.exe -m pip install –upgrade pip
simple-salesforceの追加：pip install simple_salesforce

#####ログイン情報
security_tokenが‘’でも、下記用にSandbox（test)またProduct（login)でログインできます。
※DeveloperVersionができない？

“`
sf = Salesforce(username=’userid’, password=’password’, security_token=”, domain=’test’)
“`

#####実装とCSV出力
※Csvに先頭属性という列は余計に出力されている

“`
from simple_salesforce import Salesforce
i

【Python】空間情報分析に便利なオープンソース「H3」のドキュメント日本語メモ

画像は[Uberのエンジニアリングブログ](https://eng.uber.com/visualizing-city-cores-with-h3/)より

—

#はじめに

オープンソースの「H3」を触っています。
関数についてのドキュメントは豊富ですが、実

AI・Python活用レシピ100選

# はじめに
**[Axross](https://axross-recipe.com/recipes)** は、エンジニアの”教育”と”実務”のギャップに着目し、「学んだが活用できない人を減らしたい」という想いで、ソフトバンク社内起業制度にて立ち上げたサービスです。

現役エンジニアによる実践ノウハウが”レシピ”として教材化されており、実際に動くものを作りながら、具体的な目的・テーマをもってプログラミングを学ぶことができます。

今回は、Axross運営が厳選した**『AI・Python活用レシピを100選』**をご紹介します。是非、Axross学習時の参考にしてみてください。

Axross：https://axross-recipe.com
公式Twitter：https://twitter.com/Axross_SBiv
## 基礎
##

【OpenRTM-aist】OpenRTM-aist 2.0 (ROS transport含む)のインストール (ソースからのビルド)

# はじめに
OpenRTM-aist 2.0は[公式GitHub](https://github.com/OpenRTM/OpenRTM-aist)で開発中のOpenRTM-aistの最新版です。
自分でビルドしてインストールする必要があり、ちょっと苦戦したので残しておきます。

:::note warn
注意点
・OpenRTM-aistの旧バージョンなどは何も入っていない環境で試しました。公式サイトと前提条件が違うかもしれません。この記事の通りに実行すれば何も入っていない環境でもインストールできると思います。
・まだ公式HPのマニュアルなども整備中のようなので情報が変わるかもしれませんがご容赦ください。
:::

## OpenRTM-aistって何？
OpenRTM-aistが何か、ROS Transport機能が何かは[公式HP](https://www.openrtm.org/openrtm/ja)などを参照ください。
OpenRTM-aistについてひとことで言うと産総研が開発しているロボット用ミドルウェアです。
ROSとの通信機能がROSTransport機能になり、バ

主要なGANモデルについて、初心者なりにまとめた（随時更新）

# はじめに

CNN（畳み込みニューラルネットワーク）の主要な創始者の1人であるヤン・ルカン氏が
> This, and the variations that are now being proposed is the most interesting idea in the last 10 years in ML, in my opinion.”
「機械学習においてこの10年間で最も興味深いアイデア」

と述べた人工知能アルゴリズムであるGAN。

自分は[Python機械学習プログラミング 達人データサイエンティストによる理論と実践](https://book.impress.co.jp/books/1120101017)を使って、機械学習の学習を進めており、ちょうど17章にこの**GAN**が出てきて、今までのアルゴリズムより遥かに理解が難しく、かついろんな派生モデルもあって困惑したので、自分なりにわかる範囲でまとめてみました。

※数式や理論的な部分は自分も理解できていない部分が多いため、省いてます。
理解したらまとめて更新していこうと思います。

また主要なものだけとり

【AtCoder解説】PythonでABC216のA,B,C,D,E問題を制する！

**ABC216**の**A,B,C,D,E問題**を、**Python3**でなるべく丁寧に解説していきます。

ただ解けるだけの方法ではなく、次の3つのポイントを満たす解法を解説することを目指しています。

– シンプル：余計なことを考えずに済む
– 実装が楽：ミスやバグが減ってうれしい
– 時間がかからない：パフォが上がって、後の問題に残せる時間が増える

ご質問・ご指摘は**コメント**か**ツイッター**までどうぞ！
**Twitter: [u2dayo](https://twitter.com/u2dayo)**
**マシュマロ**： [https://marshmallow-qa.com/u2dayo](https://t.co/itXZeUjSeK?amp=1)
**ほしいものリスト: https://www.amazon.jp/hz/wishlist/ls/2T9IQ8IK9ID19?ref_=wl_share**

よかったら**LGTM**や**拡散**していただけると喜びます！

# 目次

[ABC216 まとめ](#abc216-まとめ)
[A問題『Sign

kaggle machine learning basic

kaggle のラーニングを受けて理解を深めるための記事
マシンラーニング初心者向け

使用データHousing Prices Competition for Kaggle Learn Users
https://www.kaggle.com/c/home-data-for-ml-course

まずは基本のデータ読み込み、モデル作成、予測、評価、投稿データ作成について

データ読み込み

まずは上記リンクからデータダウンロード

test.csv train.csvのみでまずは十分

使用ライブラリ
import pandas as pd
from　sklearn.model_selection import train_test_split
from　sklearn.ensemble import RandomForestRegressor

【死闘】Visual Studio Code で Django の環境構築

環境：Windows、Python3.8、Anaconda使用
　「djangoのツボとコツがゼッタイにわかる本」で環境構築を始めたものの書籍に記載されている通りに動かず、結局インターネットで調べながら構築した。

・詰まった時の状況
　様々な記事を漁って見たが、condaがVSCodeにおいて認識されずエラーが出る。

・解決方法
　 Anacondaが先にインストールされていたことが原因だった。環境変数のpathに¥Users¥Username¥anaconda3,¥Users¥Username¥anaconda3¥Library¥bin の二つを追加することで解決。またこれで解決しない場合はVSCodeのターミナル設定を変更する必要がある。

　

PythonでMultisetっぽいことをする(heapqを用いた実装)

#はじめに
競技プログラミングをしていると、多重集合が存在して
　1. 要素を追加したり
　2. 最大値や最小値を求めたり
　3. 集合内の要素を削除する
といったクエリをO(logN)で行わなければいけない場面にしばしば直面します。
その際、公式解説に「C++の標準ライブラリにあるMultisetを使って高速に～」といった記述を見ます。
しかしながら、Pythonの標準ライブラリにはMultisetは搭載されていません。
このような場合、通常Pythonでは標準ライブラリにあるheapqをつかって対処すること多いです。
この記事ではこのようなheapqを用いた疑似Multisetをクラス化したものについて記述します。

#####注意：この記事で実装する疑似MultisetではC++のようにMultiset上での二分探索はできません。

#コード
とりあえずコードです。heapqを用いて実装します。
実装に関する詳しい説明は省略します。

“`
#####疑似マルチセット QuasiMultiset#####
from heapq import heappop,heappush
f

【pandas】DataFrameでifっぽいことをやる

## locを使って、特定の条件であれば値を追加したい

下記のようなDataFrameのnameカラムがひらがなのみ、カタカナのみだった場合、kindカラムに「ひらがな」「カタカナ」と文字列を入れたい。

“`
id name
0 1 あいうえお
1 2 かきくけこ
2 3 サシスセソ
“`
を

“`
id name kind
0 1 あいうえお ひらがな
1 2 かきくけこ ひらがな
2 3 サシスセソ カタカナ
“`

このように修正したい

## コード

ひらがな・カタカナの正規表現にあてて、trueだった場合値を入れるような形

“`python
import pandas as pd
import numpy as np
import re

df = pd.DataFrame(
data={
‘id’: [1, 2, 3],
‘name’: [‘あいうえお’, ‘かきくけこ’, ‘サシスセソ’]
}
)

pattern = re.compile(

削除したいのにできない。＞。＜

#概要
削除ができないので、メモ

第6回富士フィルムBrain(s)コンテスト参加記

twitterでコンテストの広告が流れてきて、医療分野で富士フィルムちょっと興味あったので取り組んでみました。

# コンペ概要
コンペは3つの課題から成っており、Q1は初心者向けの簡単な画像処理、Q2はclassification,Q3はsegmentationの課題でした。
データは[SDNET2018](https://www.sciencedirect.com/science/article/pii/S2352340918314082)という、デジタルカメラで撮影した壁・舗道・橋の画像です。
画像の元のサイズは(3584×4608)ですが、これではCNNで学習するには重いということで(256×256)に分割されていました。結合して元のサイズに戻して処理したほうが色々と都合が良いので二度手間です。
また、各画像は画像内にひび割れが存在する/しないのラベルが割り振られており、コンペではこの情報はメタデータとして利用する事ができました。

更に、__このコンペではtrainingデータに対する手動でのアノテーション(Hand-Labeling)が認められていました__。

【Django】ListViewの使い方とできること(2) ページネーション編

# はじめに

Djangoの標準ビューの一つでモデルを単純に利用した表示を行うListlViewが用意されています。
[前回](https://qiita.com/aqmr-kino/items/d536e08a715a9fad5720)はListViewの基本的な機能をまとめましたが、触れていなかったページネーションについてまとめてみました。

## ページネーションとは

多数のコンテンツを提供する際に、コンテンツを一定の数で区切ってページに分ける機能のことです。
（Google検索等でいう、結果が1ページ10件ずつ表示していくような感じのものです）

## 環境

– Python 3.9
– Django 3.2

## モデル

本記事では、画面表示するモデルとして下記を使用することにします。

“`python:models.py
class Article(models.Model):
title = models.CharField(max_length=128)
content = models.TextField()
is_publish

プログラミング初学者が7週間でPython 3 エンジニア認定基礎試験に合格するまでの記録

## この記事の概要
プログラミング初学者です。
2021年7月13日にPythonの勉強を始めて、2021年8月29日に[Python 3 エンジニア認定基礎試験](https://www.pythonic-exam.com/exam/basic)に合格しました。
この7週間は日々頑張ってたなーと思っているので、その経過を記録しておこうと思って書いた記事です。

## 前提
### Pythonを勉強する前の私のスペック
– 文学部卒 30代前半 女性
– 今の勤務先（非IT系）に2021年6月に就業し、社内SEみたいな人の後継者になることを前提にOJTを受けている。
– 父の影響でPC自作もするので、文系だがコンピュータ全般に関してぼんやりとした知識がある。
– HTMLの基本を理解しているが、知識は00年代で止まっている。
– コマンドプロンプトにコマンドを打つとコマンドに定義された命令が実行されるということが分かっている。
– Wordやテキストエディタで文字列を検索・置換するための正規表現が分かっている。
– 夫がバックエンドエンジニアをしているが、夫がどういう仕事をしている

独学プログラマーのまとめ　その7

###8章　モジュール

– 不屈の努力と情熱は、何歳でも奇跡を起こす。
– ジョージ・ワシントンの言葉
– モジュールとは分割したコードでPythonファイル(.py)のこと。
– モジュールを使うにはまず**インポート**する。
– インポートとはPythonにこれから使うモジュールはどれなのかを伝えること。
– インポート構文と使い方は以下の通り

“`Python
import [モジュール名]
[モジュール名].[コード]
“`
[コード]は関数や変数などの名前でありモジュールの中で使いたいものを指定する。
例として組み込みモジュールであるmathモジュールではコード(関数)powを使って羃乗（累乗）を計算できる。

“`Python
import math
math.pow(2, 3)
“`
> 8.0

モジュール(.py)を他のモジュールからインポートするとそのモジュールのコードは全て実行される。
もしインポートされた時に実行されたくない場合は`if__name__ == “__main__”:`の文下に書くと実行されなくてすむ。
もちろんP

【gRPC】非同期にレスポンスを返す

# はじめに

おじさんはgRPC でサービスを実装しているのですが、今回、「非同期に」処理することを求められました。非同期でのリクエストの処理とはなんぞ？と思い調べ、動作確認したのでメモします。

https://grpc.io/

はじめに、内容に対してタイトルがミスリーディングだったら申し訳ありません、と謝っておきます。

## gRPCの使い方。

RPC=remote procedure controlで、g = google だったと思います。おじさんにはjsonとWEB API が、 protocol buffer と gRPCに置き換わったようなイメージです。

定義ファイルでメッセージ(protocol buffer)の定義とサービス(gRPC)の定義を作ったあと、コンパイルツールを使うと

– 定義したデータを送るためのProtocol bufferのライブラリ
– それらを受け渡しするサービスのひな形

が作られます。プログラマはそのひな形を継承したクラスを実装するという感じです。

## 何をし

基本的なpythonの文法まとめ

#基本的な使い方
・セルに入力できる状態でEscを押すと入力できない状態になる。
・その状態でaを押すと、前にセル追加
・ｂを押すと後ろにセル追加
・ｍでマークダウン（説明などをする部分）、ｙでコードのモードになる。

#文字列
##文字列.format()
“`py
name = “nana”
birthplae = “japan”

“私の名前は{}です。出身は｛｝です。”.format()
“`
もしくはこちら。

“`py
f”私は{name}です。出身は{birthplace}です”
“`

##改行（\n）はprintと一緒に。
“`py
print(“aaa\nbbb”)
“`
これで、

aaa
bbb

と出力できます。

##書式化
書式化演算子の％を使うことで、書式を設定できる。

“`py
print(“10進数=%d,16進数=%x,10進浮動小数点=%f” %(16,16,16))
“`
→10進数=16,16進数=10,10進浮動小数点=16.000000

##大文字と小文字の変換

➀小文字から大文字へ

“`py
‘hello’.

フィボナッチ数列を行列を使わずに対数オーダーで求める

$u_n$をフィボナッチ数列とする. すなわち

“`math
\begin{align*}
u_0 &= 1, \quad u_1 = 1 \\
u_{n+2} &= u_n + u_{n+1}.
\end{align*}
“`

この数列の第$n$項を求める問題を考える.

積み上げ式と呼ばれる以下のような方法がよく用いられる:

* $a=0$, $b=1$とおく
* $a, b = b, a + b$ という処理を$n$回繰り返す.

$n$が大きい時にもっと高速に求める方法を考えてみる.

行列を用いて計算する方法もあるが, ここでは整数だけでやる方法を考えてみる.

## 主張

以下の式とメモ化再帰を利用して, フィボナッチ数列を計算すると $O(\log(n))$である.

“` math
\begin{align*}
u_0 &= 0, \\
u_1 &= 1, \\
u_{n} &= u_{\frac{n}{2}}^2 + 2 u_{\frac{n}{2} – 1} u_{\frac{n}{2}} & \quad (n\text{が偶数のとき}) \\
u_{

Pythonでしか描けない美しいグラフを描こう！

>**※2021/8/31：Pythonを操作したことがない方でも手持ちデータでグラフが描けることができるよう、すこし内容を修正・補足しました。**


***
###はじめに
最近、PythonやRで、データ分析したり、グラフを描いたりしている方が増えてきたように思いますが、とはいえ「基本Excelで！」という方々には遠く及びません。
これは、Excelをデータ入力枠そのものとして活用していることと、Excelである程度の分析もできちゃうということがあると思います。私も普段はExcelだけでこと足りています。
そんな私ですが、これまでに何度かPythonで作成されたグラフで「こんなグラフが描けるのかぁ」、「なん

【Python/IrfanView】読み取り画像のROI確認作業を手抜きする（Windowsのみ）

# IrfanViewとは

知る人ぞ知る、**昔ながらのWindowsの画像処理向けの無償ツール**。
ディレクトリ内の画像を確認したり、ディレクトリ内のファイルを一気に画像を変換したり出来る便利なやつ。
Windows 95時代から存在する古参だ。

https://www.irfanview.com/

## IrfanViewの仕様など


　こいつ、**なんとコマンドプロンプトからの直接のコマンドを受け付ける**。

　今となれば、一括変換はOpenCVがPythonにデフォルトで付いているのであまり需要はないかもしれないが・・・

　表示したり画像処理をかけたりといった作業に対しては、わざわざPyQtやwxPython、tkinterなどで画像処理専用の画面を作らなくても良いので、専用の画像処理ツールがない環境でまじめに画像表示を作