Python関連のことを調べてみた2022年08月20日

九九を表示するプログラム

# 九九を表示するプログラム
“`python:99_1.py
for j in range(1,10):

str_answer = ”

for i in range(1,10):
answer=j*i
str_answer += “\t” + str(answer)

print(str_answer)
“`

## 感想
“str_answer = str(answer)“だと一番右の数字のみ表示されるけれど、
“str_answer += str(answer)“にすると*1から*9の全部の結果が表示できることに気づいた。
又、“str(answer)“の前に“\t“を入

データクレンジングを行っていこう！顧客名の変更と日付の変更

# 1.今回用いるデータ

私はpythonでとても重要なデータクレンジングについて、様々な記事を書いております。
その中で今回用いるのは

『データクレンジングを行ってみよう！価格変更偏』の１番にあるデータを使っていきます。
良かったらダウンロードしてみてください。それではいきます

## 2.データの読み込み
“`Python
import pandas as pd

kokyaku_data = pd.read_excel(“kokyaku_daicho.xlsx”)
“`
kokyaku_dataは人が入力していると思われるので、とても汚いデータとなっております。
顧客名については、半角の空欄があったり全角の空欄があったり
登録日については、記述がばらばらであったりします
今回は、その２つをきれいにクレンジングしていきましょう。
“`Python
kokyaku_data

顧客名 かな 地域 メールアドレス 登録日
0 須賀ひとみ すが ひとみ H市 suga_hitomi@example.com 2018/01/04
1 岡田　 敏也 おかだ としや E市 okad

データクレンジングを行ってみよう！価格変更偏

# 1.価格データを一括で変更したい

今回は、https://www.shuwasystem.co.jp/support/7980html/5875.htmlでダウンロードできるデータを扱っていきます。

これは、『実践データ分析１００本ノック』という本のサンプルコードになっております。本を見ながらみるととても分かりやすいと思うので、是非手に取ってみてください。
（ステマではありません！（笑））

## 2.データの読み込みや問題点の抽出
では、この中の第二章に入っている
uriage.csvを取り出していきます。

“`Python
import pandas as pd
uriage_data = pd.read_csv(“uriage.csv”)
uriage_data.head()
“`
“`
purchase_date item_name item_price customer_name
0 2019-06-13 18:02:34 商品A 100.0 深井菜々美
1 2019-07-13 13:05:29 商 品 S NaN 浅田賢二
2 2019-05-11 19:

Docker(WSL2)でGPUが使えるようになったのでメモ

# はじめに
この記事は2021年9月にまとめていた「細かいつまずいたことをメモしておく(9月編)をそれぞれ投稿した内容になります
解決方法が最新でない可能性もありますのでご了承ください

# 環境構築方法

基本的にはこの記事を確認した

https://qiita.com/ksasaki/items/ee864abd74f95fea1efa

若干わかりづらかったことだけをメモ

環境
– Ubuntu 18.04LTS
– GeForce GTX 1650

まず、IntelInsider devチャンネルを選択

Ubuntu18.04のインストール
CMDからインストールしないと失敗した

“`
$ wsl –install -d Ubuntu-18.04
“`

NVIDI

minicondaでjupyterを使おうとしたらカーネルが起動しない

# はじめに

この記事は2021年9月にまとめていた「細かいつまずいたことをメモしておく(9月編)をそれぞれ投稿した内容になります
解決方法が最新でない可能性もありますのでご了承ください

# 問題

minnicondaでjupyterを起動すると以下のエラーが発生

“`
nel died with exit code 1. Traceback (most recent call last): File 　　
“C:\Users\username\Anaconda3\lib\runpy.py”, line
193, in run_module_as_main “main”, mod_spec) File
“C:\Users\username\Anaconda3\lib\runpy.py”, line
85, in run_code exec(code, run_globals) File
“C:\Users\username\Anaconda3\lib\site-packages\ipykernel_launcher.py”, line 15, in from ipyk

備忘：macにてAWS CLIをインストール

超個人メモ
macにてAWS CLIをインストールしたので、備忘録。

■実行環境
“`sh
$ sw_vers
ProductName: Mac OS X
ProductVersion: 10.15.7
BuildVersion: 19H512
“`

■導入手順
手持ちのAWSのテキストに書かれている手順
“`sh
# pyhonのpipパッケージを入れる
$ curl “https://bootstrap.pypa.io/pip/get-pip.py” -o “get-pip.py”
$ sudo python get-pip.py
$ pip –version

# AWS CLIをインストール
$ sudo pip install awscli
# 正常にインストールされたか確認
$ aws –version
“`

しかし、下記のcurlコマンドでエラーになった。。少し調べてみる。
“`sh
$ curl “https://bootstrap.pypa.io/pip/get-pip.py” -o “get-pip.py”
“`

■調査結果
get-

【個人開発】「今日は何の日API」を公開しました。

# 今日は何の日API リファレンス

「今日は何の日API」は3種のAPI(記念日API・MD販促API・誕生花API)の総称です。

3種ともシンプルな構造で、それぞれのリクエストURLの末尾に月日(mmdd形式、例えば1月1日なら0101)を加えてリクエストすることで、同日の情報(記念日・MD・誕生花)をJSON形式で返します。WEBでのマーケティング、広報、販促にご利用いただけます。

“`python:リクエストの例

import datetime
import requests
from requests.packages.urllib3.util.retry import Retry
from requests.adapters import HTTPAdapter

header = {‘content-type’: “Application/json”}
session = requests.Session()
retries = Retry(total=2,backoff_factor=1,status_forcelist=[500, 502, 503, 50

【pandas】前処理でよく使うコード

### フォルダ内のcsvファイルを読み込んで縦結合

“`python
import pandas as pd
import glob

df_files = sorted(glob.glob(‘./data/*.csv’))
list = []
for file in df_files:
list.append(pd.read_csv(file))

df = pd.concat(list)
“`

すべて同じ値の新しい列を追加
“`python
df[“new_colmun”] = 12345
“`

日本語csvを読み込むとき
“`python
,encoding=”shift-jis”
,encoding=’cp932’
“`

インデックスリセット
“`python
df = df.reset_index(drop=True)
“`

マージ

KMeansを使わずにクラスタ中心を検出したかった話

# KMeansを使わずにクラスタ中心を検出したかった話

EMアルゴリズムを使わずにクラスタの中心出すことできるか？という挑戦です
結論から言うとできませんでした
できませんでしたが
**kmeans++ に変わる初期化処理として役に立つかもしれない**
**あからさまなクラスタ（メジャークラスタ）だけなら検出できるかもしれない**
**エルボー法みたいな最適クラスタ数を考えるための指標値は出せるかもしれない**
という感じのなにかが出来上がりました

## 結果
意図的にあからさまな３クラスタの分布を作成しクラスタ検出してみた
赤い点がクラスタ中心です

Irisデータセットに対して使ってみた
赤い点がクラスタ中心です
![test5_ 2.png](https://qiita-image-store.s3.ap-northeas

【データ分析】平均的な打者が並ぶチームと、一部の強打者が居るチームを比較検証する(回帰分析・決定係数)

## 0. 前置き
いわゆるビッグデータの分析や予測も面白いのですが、最近統計を改めて勉強し直して、決定係数とか単純な回帰の分かりやすさも良いなと感じ始めていました。

そこで、プロ野球のデータで昔から気になっていた、以下の2チームのどちらが得点力があるかを簡単に分析をしてみました。
1. 1番から9番まで平均的な得点力の打者(いわゆるオールC)が並ぶチーム
2. 各打者の得点力に大きくムラがあるチーム(例えば中軸だけオールA,Bでそれ以外はオールE,Fのチーム)

### 0.1 参考サイト
[プロ野球データFreak様](https://baseball-data.com)
いつもありがとうございます。

### 0.2 断り
間違ったことは書かないよう注意はしていますが、統計もプログラミングも素人に近いので、間違いや改善点等ありましたらご指摘お願いいたします。

### 0.3 使用するデータ
大きく以下の二つです。
1. 2010年-2021年のセパ両リーグのチーム得点力

| 順位 | チーム | 試合 | 勝利 | 敗北 | 引分 | 打率 | 得点 | 安打 | 本

「関数グラフソフトGRAPES」のGPSフォーマットをsympyでprint出力しました。(正五角形を作図)

GRAPESで「画像の保存」です。

ソースは、約300行長文です。
正五角形のみです。スクリプトを使わず、「GPSファイルのフォーマット」でprint出力しました。
自作テンプレート？(正五角形の座標のみ)置き換えています。
スクリプトも操作も、勉強中です。

# sympyで
“`python
from sympy import *
def myTextRepInit(myText):
GPS_List = myText.splitlines()
del GPS_List[0]
joined = ‘\n’.join(GPS_List)
return joined
def myTextRep(myText,n,myT):
GPS_List = myText.splitlines()
GPS_

T-DASHでDB登録確認までテスト自動化してみた

# この記事関して
テスト自動化ツールT-DASHでデータ入力からDBへの登録確認までのやり方を記載しています。

# テスト対象
こちらの記事の掲示板アプリを利用させて頂きました。
https://qiita.com/tomson784/items/a5ad6e47643449dffd18
https://github.com/tomson784/bbs

# 自動化するシナリオ
1.掲示板アプリで投稿内容と名前を入力して送信
　(データドリブン機能で入力データを変えて反復テストをする)

2.入力されたデータがDBに登録されているか検証する
　(カスタム動作機能でキーワードを独自に作成する)

![シナリオ.gif](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2

「Databricks とは？何ができるか」新入社員が感じたイケてる機能１０選

# 目次
– [はじめに](#はじめに)
– [背景と目的](#背景と目的)
– [Databricksとは何か](#databricksとは何か)
– [機能紹介](#機能紹介)
– [共通](#共通)
– [データエンジニアリング](#データエンジニアリング)
– [機械学習](#機械学習)
– [Databricks SQL](#databricks-sql)
– [おわりに](#おわりに)

# はじめに

こんにちは。Databricks の新井です。Qiita 初投稿です。
2022年の7月よりソリューションアーキテクトとして働き始めました。
お客様に弊社製品を知っていただき、導入いただく際の技術サポートを行う役割です。

本記事では Databricks にご興味がある皆様に弊社プ

Python: 依存関係のあるオブジェクト集合の複製にはpickleを使おう

## 導入

下図のような依存関係のあるDogとCatのオブジェクトがあるとします。Dogのcat属性にはCatクラスのオブジェクトが格納されていて、Catのdog属性にはDogクラスのオブジェクトが格納されているという状況です。

本稿の目標はこの依存関係を保ったまま、DogやCatオブジェクトのクローン(複製)を作成することです。この依存関係を持ったオブジェクト集合をもう一つ別に作成する感じですね。

どの場面でこのような作業が必要になるかというと、例えばある制御をシミュレーションする中で、さらに（シミュレーションの中の）シミュレーシ

公共交通オープンデータセンターにあるドコモ・バイクシェアのstation_information情報をCSVファイルにする

当記事では公共交通オープンデータセンターにあるドコモ・バイクシェアのstation_information情報をpythonを使ってダウンロードし、CSVファイルにする方法を説明します。

# 1. 公共交通オープンデータセンターとユーザ登録
[公共交通オープンデータセンター](https://www.odpt.org/)とは：
(https://www.odpt.org/overview/　 より引用)
>公共交通オープンデータセンターでは、公共交通オープンデータ協議会に参画する交通事業者のデータを、一般の開発者やICTベンダー等にワンストップで提供します。
>
> – 鉄道・バス・航空・旅客船事業者のデータを、リアルタイムデータ等も含め、広くサポートします。
> – 事前処理（クレンジング）を行ったデータを、REST APIを通じて、共通のJSON形式で提供します。
> – バスや旅客船のデータを中心に、GTFS形式でのデータ提供も行います。

「**公共交通オープンデータ**を使用したい場合は、公共交通オープンデータセンター開発者サイトで、**ユーザ登録が必要です**。」とな

ほっかいどう認証店応援クーポンの郵便局在庫状況を Google Map で可視化する

コロナで落ち込んだ外食産業への需要を回復するために、GO TO EAT キャンペーンを始め、各地域で色々なクーポンを発行して、頑張っていらっしゃいますよね。

そんな中のひとつに、[ほっかいどう認証店応援キャンペーン](https://hkd2022ninsho.jp/)があるわけで。

参加店リストの画面なんか、非常に、ひっじょ〜に GO TO EAT と似ているのだが、まぁこれは触れてはいけないのだろう。

で、やっぱりお得なので、みんな争ってクーポンを買っているのでしょう（想像）。

今回のほっかいどう認証店応援クーポンの良い所は、どうやら紙のクーポンは道内の郵便局だけで販売しているらしいのだが、その在庫数が公表されているのだ。

これで、せっかく郵便局に言っても売り切れてた・・・なんてことが無くなるのだよ！！！

[PDF](https://hkd2022ninsho.jp/pdf/zaiko.pdf) で、だけどな！！！

なんで PDF にした。わかりづらいわ。非常にわかりづらいわ。しかもちゃんと郵便局が辞書順に並んでいるわけでもなく、なんか独自のルールで並んでいる。地域と

PythonとzeepでGaroonのメッセージを自由自在に操る！

Garoonを他のアプリと連携させるため、メッセージ機能を外部から操りたくなりました。
幸いGaroonには豊富なSOAP APIが用意されているので、zeepから操作することにしました。

~~コード~~ [移転しました](“https://cadmi-diary.net/%e8%a8%88%e7%ae%97%e6%a9%9f%e7%a7%91%e5%ad%a6/python%e3%81%a8zeep%e3%81%a7garoon%e3%81%ae%e3%83%a1%e3%83%83%e3%82%bb%e3%83%bc%e3%82%b8%e3%82%92%e8%87%aa%e7%94%b1%e8%87%aa%e5%9c%a8%e3%81%ab%e6%93%8d%e3%82%8b%ef%bc%81/”)

天気･暑さ･潮位予報を、無料で気象庁･環境省の疑似APIから取得したい！

マリンスポーツのシーズンになる前に、天気･暑さ･潮位予報を良い感じに通知したくなりました。
この3つを網羅したお天気アプリで中々いいのがなかったため、Pythonで自作することにしました！

気象庁は天気予報をJSON形式で公開しており、規約の範囲で使用できます。
また環境省は暑さ指数をCSV形式で公開しており、こちらも規約の範囲で使用できます。
これらをrequests.getすることで、疑似APIのように各種予報を取得できるようにしました。

~~コード~~ [移転しました](“https://cadmi-diary.net/%e8%a8%88%e7%ae%97%e6%a9%9f%e7%a7%91%e5%ad%a6/%e5%a4%a9%e6%b0%97%ef%bd%a5%e6%9a%91%e3%81%95%ef%bd%a5%e6%bd%ae%e4%bd%8d%e4%ba%88%e5%a0%b1%e3%82%92%e3%80%81%e7%84%a1%e6%96%99%e3%81%a7%e6%b0%97%e8%b1%a1%e5%ba%81%ef%bd%a5%e7%92%b0%e5%a2

40代事務職Access触りたくないのでSQLを勉強してみた

自分の自己紹介的な記事
40代プログラミング初心者がpython半年勉強のざっくりまとめ記事はこちら

https://qiita.com/usagi-san/items/3cedb356702c1301028b

40代事務職、会社で上司がAccess使ってるので、それを修正するためにAccess勉強しようかな・・・って本を買って半年

1ページも勉強してません。そろそろやろうかな・・・って思って、ちょっと調べた

AccessはマクロとVBAの知識が必要

いまさらVBAなんて勉強したくねぇ～～～！！

友達にちょっと相談してみる

Accessって同時に編集するとぶっ壊れるからおすすめできない

たしかにしょっちゅうぶっ壊れるからイライラしています
自分が使いやすいようにACCESSを勉強しようと思ったのですが！

+ おすすめできない
+ すぐぶっこわれる
+ VBAの知識が必要

Python勉強してるのはVBAとかやりたくないからだし、いまさらVBAやるならAccessなんてやりたくない

そこで気がつく

Accessってデータベースじゃん！SQL

元記事を表示

ヅカの芸名を自動生成するAIを作る(4)：データ解析編(3)

# これまでのあらすじ

前回は[こちら](https://qiita.com/muto-jo/items/a2d03c1e07b78b84b51b)

ヅカの芸名の一覧を作って、まずその解析をしていたところ。
当初は90期(2002年入団、つまりここ20年)以降の芸名を集めれば、現代風のヅカの芸名の学習データになると想定していた。しかし、ざっと解析すると想像以上にそれより前の年代から現代っぽい気がしており、それを確認しているところ。

# 年代を10期ごとに分ける

本来であれば、2020年代、2010年代と西暦で10年紀ごとに分けたいのだが、宝塚の期と入団年を合わせるのは実は面倒臭い…。初期は入団年が一定でなかったり、戦争期の混乱もあったようで、安定して期=>入団年を特定できるのは音楽学校からの入団制度が整ってからになる。

なので入団期を10期ごとに分けて便宜上10年紀とする。

[データ解析編(1)](https://qiita.com/muto-jo/items/bbff7471fe235f962bad)で取り込んだDataFrameを基に、10期ごとかつ芸名と読み仮名を姓名

元記事を表示