Python関連のことを調べてみた2022年07月11日

PySpark にて Databricks runtime のバージョンを取得する方法

## 内容
PySpark にて Databricks runtime のバージョンを取得する方法は下記です。

“`python
spark.conf.get(“spark.databricks.clusterUsageTags.sparkVersion”).split(‘-‘)[0].replace(‘.x’,”)
“`

PySpark (Databricks)にて設定済み Spark config の項目名と値をすべて取得する方法

## 内容
PySpark (Databricks)にて設定済み Spark config の項目名と値をすべて取得する方法は下記です。

“`python
spark.sparkContext.getConf().getAll()
“`

【Python】東京23区の中古マンション販売価格予測をやってみた

## はじめに
こんにちわ。
pythonを使ったデータ分析や機械学習の勉強をしています。勉強したことを振り返りながら、初投稿してみたいと思います。テーマを何にしようかと悩みましたが、少し前に中古マンションを買ったこともあり、これ今売ったらいくらになるんだろうか、また、お得な物件見つけられないだろうか。。。
ということで、東京23区の中古マンション価格を「何区？専有面積は？駅まで徒歩何分？」といった情報から販売価格予測するモデルを構築してみたいと思います。

## 環境
– MacOS 12.4
– python 3.7.13
– Google Colaboratory

## やったこと　（手順）
本記事では以下の手順で、東京23区の中古マンション販売価格の予測を行っていきました。

|工程|内容|
|:—|:—|
|1.準備|必要なパッケージのインポートなどの準備|
|2.データ収集|東京23区の中古マンション販売情報をスクレイピング|
|3.前処理|学習データの前処理。最寄駅に乗降客数も付与|
|4.データ可視化|データの概観を確認|
|5.予測モデル構築|今回は重回帰分

ExcelファイルをPythonでデータ分析する (6.ディシジョンツリー)

**ExcelファイルをPythonでデータ分析する**
[1.Excelファイルの読み込み](https://qiita.com/toyohisa/items/d8d7c8179adb708476d6) – [2.グラフ](https://qiita.com/toyohisa/items/74e2893da8a88ee47743) – [3.度数分布](https://qiita.com/toyohisa/items/a2e93c01436390675a0b) – [4.ランキングチャート](https://qiita.com/toyohisa/items/8b659457378dd7df3a35) – [5.相関](https://qiita.com/toyohisa/items/f3a1016111ef430484b6) – 6.ディシジョンツリー

「ExcelファイルをPythonでデータ分析する」は上のような一連の記事になっており、2～6までは事前に1.Excelファイルの読み込みが行われていることを前提としています。

# 人口から都道府県名を判定するディシジョンツリー

【絶対に観ろ】英語のYoutubeチャンネル集【プログラミング】

こんにちは。masakichiです。

わたしはプログラミングの学習をしたり、情報収集をする時に好んで動画を閲覧することが多いです。

そんな中、最近英語圏のYoutubeチャンネルのクオリティが有料級並みに高いことに気づきドハマりしています。

ぜひ、プログラミングを学ぶ同志にも視聴してほしいと思い、おすすめのYoutubeチャンネルをまとめました。

**なお、わたしはフロントエンドを主としていますので、紹介するチャンネルにも偏りがあります。予め、ご了承のほどよろしくお願いいたします。**

## The Coding Train

**所感**
スネークゲームやパズルゲームなどクリエイティブなチュートリアルがたくさんあるチャンネルです。運営者が教育の仕事もしているようなので、説明がわかりやすいと思いました。また、語学学校の先生みたいなノリで喋

Flask と Electron で作るデスクトップアプリ ④「構成編」

## はじめに
前回は最小構成でコードを組んでいました。
様々なケースに対抗できるように組んでもいいですが、構成を複雑にし過ぎても理解するのも大変なので、前回は起動の最小構成でしたが、運用するうえで最低限の構成を組みます。

## Flask の運用構成
Electronで１つのアプリケーションとして用いるため、階層は浅く、それでいて設定や操作をその都度構成を変更しなくて済む構成を作る。

> flask_electron_app
├ common
│ └ models — モデル
│ 　 └ model.py — 名称は各項目に合わせる。
├ instance
│ └ config　—　設定フォルダ
│ 　├ development.py　— 開発環境用設定
│ 　└ production.py — 本番環境用設定
├ logic — コントローラ
│ ├ auth.py
│ └ ・・・
├ static　— 静的ファイル置き場所
│ └ css　—　CSS フォルダ
│ └ js　—　Javascript フォルダ
│ └ img　—　画

【Python】ブラウザが送信しているHTTP POSTを再現する

# 概要
動的サイトは通常、ブラウザからwebサーバにリクエストを送信し、新しいコンテンツを取得することでページの内容を更新する。
この通信をPython上で再現したい状況がよくあると思うので方法を記載する。
今回はPOSTリクエストを対象とする。

## 動作環境
“`Bash
python –version
Python 3.7.13
“`

# ChromeでPOSTデータを確認する
まずは実際に通信を発生させて中身を確認する。

1. ChromeのDevToolsの[Network]タブを開く。

1. ブラウザにて再現対象の操作を行い通信を発生させる。
（ex. フォームへの入力・送信、スクロールなど）

1. リクエストごとの結果がDevToolsに表示され、クリックすると詳細を確認できる。
こんな感じ。
![image.p

【社内勉強会用】Python入門

社内python勉強会

[2022/07/11 編集中]

Python初めての人が対象です。pathlibやxlwingsやでエクセルファイルの操作をすることが目標です。

—

## pythonのインストール
Windowsでは「Microsoft Store」からインストールするとPATHの設定もされるので簡単でした

—

## コマンドプロンプトに触れてみる

[Windows 10 のコマンドプロンプトとは？その起動方法と使用例を紹介](https://jp.ext.hp.com/techdevice/windows10sc/27/#:~:text=%E7%B4%B9%E4%BB%8B%E3%81%97%E3%81%BE%E3%81%99%E3%80%82-,1.%E3%82%B3%E3%83%9E%E3%83%B3%E3%83%89%E3%83%97%E3%83%AD%E3%83%B3%E3%83%97%E3%83%88%E3%81%A3%E3%81%A6%E3%81%9D%E3%82%82%E3%81%9D%E3%82%82%E4%BD%95%EF%BC%9

2022参院選候補者アンケートをスクレイピング

“`python
import requests
import pandas as pd

headers = {
“User-Agent”: “Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko”
}

def get_json(url):

r = requests.get(url, headers=headers)
r.raise_for_status()

return r.json()

def get_questions():

url = (
“https://www.nhk.or.jp/senkyo-data/database/sangiin/2022/survey/questions.json”
)

data = get_json(url)

dfs = []

for _, v in data.items():

tmp = pd.json_normalize(v)

Notion API 使ってみた ~Twitterトレンド保存~

## 最初に
Notion API(公式のもの)を使って何か作りたいということで、Twitterのトレンドを取得して、トレンドのキーワードに関連するツイートを保存するプログラムを作りました。特に意味はありませんw
実際に動かしています→Notionのリンクは[こちら](https://terusibata.notion.site/Twitter-957fc60a92dc4c998e6e2e7d6ddfbc38)
※作成者など、一部の情報が非表示の場合があります。

## 記事について
:::note a

【Python】WEBスクレイピングした結果をエクセルに出力してみた

## 概要
pythonでWEBスクレイピングした結果をエクセルに出力する処理を作ってみました。

## 前提条件
Pythonが既にインストールされていること。
「openpyxl」がインストールされていること。
（【Python】エクセルの入力内容の読み込みと書き出しをしてみたの続編です。）

## requestsとbeautifulsoup4の導入
コンソールを開いて下記のコマンドを実行して「requests」と「beautifulsoup4」をインストールする。
“`
pip install requests
pip install beautifulsoup4
“`

## エクセルの読み込み/書き出し処理の実行
作成したWEBスクレイピングのプログラムは下記になります。

“`py
import requests
from bs4 import BeautifulSoup
import openpyxl

#最初の情報を取

自作したリバーシAIでEdaxに挑む！

# はじめに
どうも、y-tetsuです。

本記事では、Pythonで自作したリバーシ(オセロ)AIを、**Edax**(強豪AIの1つ)と対戦させて、世界レベルの強さを体感してみる！というものです。

3年ほど前、日経ソフトウェア様の[リバーシAI特集](https://info.nikkeibp.co.jp/media/NSW/atcl/mag/091700025/)をきっかけに、Python(Cython)を使ってリバーシAIを自分なりに作り、少しずつを改良を加えてきました。そしてついに機械学習は用いないまでも、古典的でヒューリスティックな手法にて**自分を超えるリバーシAI**を作るに至りました。

こうして出来上がった私のAIは、結構いい線いってたりしないかな？？ということを確かめるべく、今回、Edaxさんにご協力いただくことにしました。

# Edaxとは
Edaxとは最強クラスと目されているリバーシAIの一つです。対戦相手として不足なし、…というより恐れ多い。

(以下のページで、紹介されていました)
https://scorenow.mystrikingly.c

Pingの実行に Subprocess と Ping3 を使ってみた

## subprocessモジュール と ping3モジュールを使ってみる

### ユースケース
+ 対象のIPアドレスリストに対してpingを実行
+ forループを使って複数回pingを実行

## subprocess モジュール
+ **subprocess.run()** を使ってOS標準のpingコマンドを実行する
+ **subprocess.call()** という**returncode**の結果だけを取ってくる古いモジュールもあるが
すべての用法を扱える**run()** メソッドが推奨されている。

### subprocessでpingを実行した際の標準出力
“`　subprocess_ping.py
>>> import subprocess
>>> subprocess.call([‘ping’, ‘8.8.8.8’, ‘-c 1’, ‘-t 1’, ‘-i 0.5’])
PING 8.8.8.8 (8.8.8.8): 56 data bytes
64 bytes from 8.8.8.8: icmp_seq=0 ttl=114 time=6.94

blastengine APIを使ってPythonで添付ファイル付きメールを送信する

[blastengine](https://blastengine.jp/)はシンプルに使える開発者向けメールサービスを提供しています。何かと面倒なメール配信をシンプルに、かつ確実に送信先に届くようになります。

今回はblastengineのAPIを使ってPythonで添付ファイル付きのメール送信を行うまでの流れを解説します。

## ユーザ登録する

blastengineにユーザ登録します。管理画面に入るためのユーザID、パスワードが手に入るので、ログインします（ユーザIDは後で使います）。


## 送信元ドメインのSPFを設定する

送信元として利用するドメイン（自分で持っているもの）の設定をします。これは任意のドメイン管理サービスで設定できますが、TXTレコードに以下のSPFを追加します。

“`
txt

blastengineを使ってPythonでメールを送信する

[blastengine](https://blastengine.jp/)はシンプルに使える開発者向けメールサービスを提供しています。何かと面倒なメール配信をシンプルに、かつ確実に送信先に届くようになります。

今回はblastengineを使ってPythonでメール送信を行うまでの流れを解説します。

## ユーザ登録する

blastengineにユーザ登録します。管理画面に入るためのユーザID、パスワードが手に入るので、ログインします（ユーザIDは後で使います）。


## 送信元ドメインのSPFを設定する

送信元として利用するドメイン（自分で持っているもの）の設定をします。これは任意のドメイン管理サービスで設定できますが、TXTレコードに以下のSPFを追加します。

“`
txt @ v=spf1 inc

AtCoder Beginner Contest 259 参戦記

# AtCoder Beginner Contest 259 参戦記

## [ABC259A – Growth Record](https://atcoder.jp/contests/abc259/tasks/abc259_a)

2分半で突破. 書くだけ.

“`python
N, M, X, T, D = map(int, input().split())

print(T – (X – min(X, M)) * D)
“`

## [ABC259B – Counterclockwise Rotation](https://atcoder.jp/contests/abc259/tasks/abc259_b)

19分で突破、WA1. 回転の公式を使えば一発.

“`python
from math import radians, cos, sin

a, b, d = map(int, input().split())

theata = radians(d)
print(a * cos(theata) – b * sin(theata), a * sin(theata)

何も分からないが頑張って参院選の結果をTwitterから予測しようとする　#0. 準備の準備

# １. 背景
データ分析関連について、周りの進みが早すぎてなにも分からなくなってしまった昨今でしたが、何かないかと探していた時に、
そうだ参議院選挙がある！と気づき、**ユーザーのTwitterへの投稿から参議院選挙のある程度の情勢を予測できるんじゃないか？！と思い**
思い立ったが吉日でやってみようと思った次第です。（一文の量）

しかしいつも大作を作り上げようとして途中で挫折して放置するのが僕の常なので、
今回はめちゃくちゃ細切れにあげていけば続くんじゃないかという期待も込めて
めちゃくちゃ細切れにあげていく所存です。

# ２. 現実
とはいえ、現実はいつも世の中の厳しさを教えてくれます。

[ツイッターは選挙結果の予測指標にならず＝調査](https://jp.reuters.com/article/usa-election-twitter-idJPKCN0VQ0V1) by ロイター通信
[Twitterから選挙結果を予想できない、その理由は?](https://news.mynavi.jp/techplus/article/20120604-twitter/)

など、

AtCoder Beginner Contest 258 参戦記

# AtCoder Beginner Contest 258 参戦記

気づいた時点で21時10分になっていて unrated になった.

## [ABC258A – Last Two Digits](https://atcoder.jp/contests/abc258/tasks/abc258_a)

書くだけ.

“`python
K = int(input())

x = 21 * 60 + K
print(‘%02d:%02d’ % (x // 60, x % 60))
“`

## [ABC258B – Number Box](https://atcoder.jp/contests/abc258/tasks/abc258_b)

書くだけ. 流石に実装がアレすぎるとは思う.

“`python
N = int(input())
A = [list(map(int, input())) for _ in range(N)]

result = 0
for y in range(N):
for x in range(N):
t = 0

日鉄ソリューションズプログラミングコンテスト2022(AtCoder Beginner Contest 257) 参戦記

# 日鉄ソリューションズプログラミングコンテスト2022(AtCoder Beginner Contest 257) 参戦記

集中できない理由があったので unrated で参加.

## [ABC257A – A to Z String 2](https://atcoder.jp/contests/abc257/tasks/abc257_a)

書くだけ.

“`python
N, X = map(int, input().split())

print(chr(ord(‘A’) + (X – 1) // N))
“`

## [ABC257B – 1D Pawn](https://atcoder.jp/contests/abc257/tasks/abc257_b)

素直にシミュレーションすればいい.

“`python
N, K, Q = map(int, input().split())
A = list(map(lambda x: int(x) – 1, input().split()))
L = list(map(lambda x: int(x) – 1, inpu

ROS : 半自動にウェイポイントを抽出する

# waypoints generator csv

半自動にウェイポイントを抽出するパッケージを開発しました．この記事ではそのパッケージについて説明します．
**[waypoints_generator_csv](https://github.com/HHorimoto/waypoints_generator_csv)**

# 概要

自律移動ロボットで地図を作成した後は通常，作成した地図からウェイポイントを抽出してそれに沿って自律移動ロボットを走行させるのが鉄板です．ウェイポイントを抽出する方法には様々な方法があると思いますが主に`Publish Point`や`Localization`を用います．そこでこのパッケージでは前述の方法を用いて半自動的にウェイポイントをを生成します．

# 環境

Ubuntu 18.04
ROS (Melodic)
Python 2.7.x

# 準備
+ `waypoints_generator_csv`パッケージをダウンロードしてください．

“`shell
$ cd ~/catkin_ws/src/
$ git clone https: