Python関連のことを調べてみた

PythonでのWEB操作　各モジュールについて

PythonでのWEB操作をしたいため、各モジュールについて調べました

以下に結果をまとめますが、コメント等あれば更新していきます

①webbrowser
標準の組込みモジュールのため新たにモジュールをインストールする必要がない
マウス操作のためにpyautoguiをインストールする必要があり、また処理中は別の作業ができない

②Selenium
JavaScriptが使われているサイトからのデータの取得や、ドライバを経由してブラウザを操作することができる
Seleniumはブラウザを操作してデータを取得しますので、動作が遅いことが難点
従って、できるだけ必要最低限の箇所でSeleniumを使うことをお勧めされている
標準のモジュールには組み込まれていない

③BeautifulSoup
Webサイトをスクレイピングしてデータを取得して解析するライブラリ
標準のモジュールには組み込まれていない

④Requests
HTMLデータの取得によく用いられる
簡単にWEBサイトからデータを取得することができる
標準のモジュールには組み込まれていない

Pythonとtkinterを用いた非エンジニアのための社内ツールGUI開発

ども、お久しぶりです、ぺんまるです。
前回の投稿から時間が経ちましたが、再度プログラムを作成したので投稿をしてみました。

自分の近況を少し、最近はゴジラ-1.0の映画を見ました。
タイトル的には何かの前日譚なのでしょうか、映画自体はドルビーアトモス？でみたので迫力いっぱいで楽しむことができました。
やはり、映画はいいものですね。

# プログラムを作成した経緯について
今回プログラムを作成する経緯ですが
* 元のCSVファイルの中身をある処理を施して変換するプログラムと会社の人からの提案。
* 厳密にいうと、とある装置のプリセット位置レシピ(CSVファイル)と画像の解析結果座標を合わせて、原点からの絶対移動ができれば、変換後のレシピを読みこむだけで楽になりそう…という願い。

* 非エンジニア(僕もですが)でも扱えるようにGUI画面にする。
* 意外と記事などで需要あるかなという思った。

なぜPythonとtkinterなのかというと、このプログラムを作成する際に、非エンジニアが使う言語といえばPythonかVBAが多いと思うので、作成のしやすさや配布性を考えてPython

【備忘録】Google Cloud Vision、Azure Computer Vision、Azure Form Recognizerの検証 – OCR精度、コストなど

## はじめに
この記事では、Google Cloud Vision API、Azure Computer Vision、Azure Form RecognizerのOCRサービスの精度を評価し、結果を確認します。また、料金体系についても概説します。
また精度評価にあたり、比較対象としてpytesseractの結果も掲載しています。

## 使用したサンプル
評価には、MakeLeapsさんが配布している無料の請求書テンプレートを元に作成しました。これに少しぼかしを追加しています。

– テンプレートソース: [MakeLeaps請求書テンプレート](https://www.makeleaps.jp/%E8%B3%87%E6%96%99/excel-templates-invoice/)

## OCRサービスによる精度評価
それぞれのO

分類問題と回帰問題

前記事では、ニュートラルネットワークの導入をした。

https://qiita.com/mitsumizo/items/2cba9b623b75939a89a3

今回は、ニュートラルネットワークの利用先である「分類問題」と「回帰問題」について考える。

## 分類問題

**入力データがどのクラスに属するか**という問題である。

人の写った画像やある人の音声など、インプットは問わないが、
そのインプットが男性なのか女性なのか、どちらであるかを分類する問題が具体例である。

この生物学的男女のようなものは「2値分類」と呼ぶ。
チームA,B,Cなどの2つ以上の分類を「多分類」と呼ぶ。

## 回帰問題

**入力データから数値の予測**を行う問題である。

人の写った画像やある人の音声など、インプットは問わないが、
そのインプットがの体重や身長が何なのかという数値を出す問題が具体例である。

## まとめ

インプット：人間の写真
アウトプット
– 男か女か → 分類問題
– 推定体重 → 回帰問題

一般的に分類問題は「ソフトマックス関数」、回帰問題は「恒等関数

DjangoのDeleteView/CreateViewの実装方法を理解する

こんにちは。
株式会社クラスアクト インフラストラクチャ事業部の大塚です。

前回、ListViewとDetailViewの実装方法理解の為にToDoのWebアプリの作成を行いました。
今回は同じTodoアプリに機能を追加していく形でDeleteViewとCreateViewを実装していきたいと思います。前回の記事は以下となりますので、併せて参考にしていただければと思います。

https://qiita.com/ohtsuka-shota/items/0e651df83ce5415628f8

# github
今回のコードは以下で確認できます。
適宜ご覧頂ければ幸いです。

https://github.com/ohtsuka-shota/publicDjangoStudy/tree/main/deleteCreateTestPJ

# 環境構築
## 環境イメージ
deleteCreateTestPJという名前のプロジェクトを作成し、todoAppという名前のアプリケーションを作成しております。
ファイル単位で前回から増えたところはDeleteViewとCreateViewを実装

GitHub Actions で、Poetry を使用しているプロジェクトに対して Snyk を適用する

## はじめに
– この記事では、GitHub Actions で、Poetry を使用しているプロジェクトに対して Snyk を適用する方法について、メモとして残します。

## 適用手順
### Auth Token の設定
– https://app.snyk.io/account から Auth Token を取得し、GitHub の Secret に、例えば `SNYK_TOKEN` として設定する。

### ワークフローの作成
– `snyk/actions/python@master` の `args` の `–file` に、`poetry.lock` のパスを設定する。
“`.github/workflows/backend-test.yml
name: backend-test
on:
push:
paths: backend/**
jobs:
test:
runs-on: ubuntu-22.04
steps:
– name: sparse checkout
uses: actions/check

パーセプトロンからニュートラルネットワーク

AI系のプロジェクトに入るので、ニュートラルネットワークくらいは勉強する。

まずは、[ゼロから作るDeep Learning](https://www.amazon.co.jp/%E3%82%BC%E3%83%AD%E3%81%8B%E3%82%89%E4%BD%9C%E3%82%8BDeep-Learning-%E2%80%95Python%E3%81%A7%E5%AD%A6%E3%81%B6%E3%83%87%E3%82%A3%E3%83%BC%E3%83%97%E3%83%A9%E3%83%BC%E3%83%8B%E3%83%B3%E3%82%B0%E3%81%AE%E7%90%86%E8%AB%96%E3%81%A8%E5%AE%9F%E8%A3%85-%E6%96%8E%E8%97%A4-%E5%BA%B7%E6%AF%85/dp/4873117585/ref=sr_1_1?adgrpid=78743629850&gclid=Cj0KCQiAsvWrBhC0ARIsAO4E6f_2kmkKJDdQtAzsxDt-OEudfy9tND30KInYbeV9P3eRHYpulqZ

現在の河川水位を予測してみる：VotingRegressor

使用するデータについて
—

今回は北海道のとある河川の水位をVotingを使用して予測してみました。期間は2023/8/1 1:00　～　2023/8/18 0:00です。

目的変数（河川水位）は以下より取得しました。

http://www1.river.go.jp/

説明変数（降水量、湿度、etc.）は以下より取得しました。

https://www.data.jma.go.jp/gmd/risk/obsdl/

今回はテストデータとトレーニングデータは同一のものとしています（クローズドテスト）。使用するcsvファイルの中身は以下の通りです。河川水位(m)は”A”、その他の変数は”B”～”K”の任意の変数を割り当てています。

“`csv
date A B C D E F G H I J K
0 2023/8/1 1:00 5.69 23.0 0.0 24.7 20.9 88 1010.8 0.0 0.8 0.00 1007.8
1 202

Strava API を使ってアクティビティデータを Python で取得してみた

## ゴール
この記事では、Pythonを使用してStravaのAPIからアクティビティデータを取得し、そのデータを整理して出力します。

## スタートライン
– Pythonの基本的な知識
– Stravaアカウント
– Strava APIのクライアントIDとクライアントシークレット（StravaのWebサイトで取得）

## 環境
– Windows 11
– Python 3.11.5
– `requests` ライブラリ
– `python-dotenv` ライブラリ

## ステップ1 環境変数の設定
今回のPythonファイルを実行するディレクトリに.envファイルを作成します。
https://www.strava.com/settings/api にアクセスし、クライアントシークレットキーを取得して、設定します。
STRAVA_TOKENは後ほど取得します。
“`.env
STRAVA_CLIENT_SECRET = “”
STRAVA_TOKEN = “”
“`

　　
もし、StravaのAPIキー未作

[日記]初めてのWebアプリケーション開発 インストール編

# はじめに

今までHTMLやCSS,JavaScriptでのコーディングを遊びで勉強していました。

今回、家計簿をつけるときに、どうせなら自分で作ったもので、と思ったことからアプリの開発をやってみようとなりました。

実際に家計簿をつけるのはいつになることやら、、、（笑）

開発の手順はこちら↓を参考にします
https://qiita.com/Saku731/items/52a3bbacd002f26f408e

※当方、ガチで初めて。間違ったことをやらかすこともあると思いますが、その際は優しく指摘お願いします！

# 目次

1. [anacondaのインストール](#Chapter1)
1. [Git Bashのインストール](#Chapter2)
1. [Visual Studio Codeのインストール](#Chapter3)

# anacondaのインストール
anacondaのインストールは下記URL

【VSCode】flake8で特定エラーの警告を非表示にする

# やり方

1. VSCodeの設定を開く
1. `Flake8`で検索
1. `Flake8: Args`に以下を記載(今回はE501を非表示に設定)
“`
–ignore=E501
“`

# 参考
https://gushwell.github.io/TIL/VSCode/Python%E3%81%AEflake8%E3%81%A7%E7%89%B9%E5%AE%9A%E3%82%A8%E3%83%A9%E3%83%BC%E3%82%92%E9%99%A4%E5%A4%96%E3%81%99%E3%82%8B.html

PythonからGemini APIを使ってみる。あと、JSONで返してほしい。

## 概要
先日あったハッカソンで、PythonからGeminiのAPIを使用する機会がありましたので、その手順をまとめたいと思います。基本は[公式のクイックスタート](https://ai.google.dev/tutorials/python_quickstart)通りに沿っていただければできると思いますが、この記事も理解の一助となれば幸いです。

この記事では、シンプルにプロンプトをAPIに投げ、その返答を受け取るだけというのを行います。他にも画像を渡したり、会話を続けたりなどいろいろできるようですが、そちらの詳細はまた別の記事か、公式のドキュメントをご参照ください。

### Gemini APIって？
まず、この記事を見られている方であればご存知かと思いますが、ここで言う[**Gemini**](https://deepmind.google/technologies/gemini/)は12月初旬にGoogle DeepMindが発表した言語モデルです。先進的なPVと共に印象深く残った方も多いのかなと思います。

GeminiAPIはそんなGemini[^1]を利用できるAP

GoogleCloudのPlacesAPIを利用して会社名から電話番号を自動取得

# GoogleCloudのPlacesAPIについて

PlacesAPIについて簡単に説明すると、GoogleMapsPlatform APIの一部です。場所を検索したり、経路や道のりを自動取得するのに役立ちます。
[公式ドキュメント -Google Maps Platform -Places API](https://developers.google.com/maps/documentation/places/web-service?hl=ja)
GoogleMapsPlatformのAPIは数多ありますが、今回は会社名から電話番号を取得するので __PlacesAPI__ を利用します。
また、PlacesAPIには __PlacesAPI__ と __PlacesAPI(New)__ がありますが、後者の方が機能面に充実しており、よ

DiscordのWebhookをもっと便利に使う方法

# はじめに
皆さんメリクリ。ないろきです。
Discordのwebhookの機能として私が一般的によく使われているな〜と感じる機能は、メッセージを送信できる機能とそれに埋め込みを入れる機能、fileを送信する機能ぐらいです。しかし、先日 [Discord公式apiドキュメント](https://discord.com/developers/docs/resources/webhook#execute-webhook)を確認してみたところ、様々なwebhookの機能が掲載されていました。
そこで、この記事ではDiscordをスクリプトと連携させていろんなことをしたい。でもBotを常時稼働させたくない！というときなどに使えるWebhookの便利な機能を紹介していきたいと思います。

# 対象読書
– Discordのwebhookでどんなことができるかもっと知りたい人
– わざわざDiscordBotを作らずに便利なスクリプトを組みたい人

# 環境
– Python 3.12.0
– requests 2.31.0
– Ubuntu 23.10

# 実際に使える機能の紹介
## me

Pythonで、supabase の Storage Clientを使用しているときに出力されるログを抑制する

# 結論から言うと
PythonのSupabase Storage Clientは内部でhttpxを使用しているため、そのログレベルを指定する。
“`python
import logging
# 好みのログレベルを指定する
logging.getLogger(“httpx”).setLevel(logging.WARNING)
“`

# 事の顛末
ダウンロードの度にINFOが常に表示されると邪魔だった
“`
2023-12-17 09:52:23,931:INFO – HTTP Request: GET https://~~~
(本当に確認したい内容)
2023-12-17 09:52:23,931:INFO – HTTP Request: GET https://~~~
2023-12-17 09:52:23,931:INFO – HTTP Request: GET https://~~~
(本当に確認したい内容)
2023-12-17 09:52:23,931:INFO – HTTP Request: GET https://~~~
(本当に確認したい内容)
“`

機械学習で株価分析02 環境構築

# はじめに
本記事では、**Google ColaboratoryでPython実行環境を構築する方法**を紹介します。

# 手順
以下の記事が参考になります。

https://www.teijitaisya.com/googlecolaboratory/

# 目次へのリンク

https://qiita.com/ryo2_9393/items/2b1ada62c2537c901b6b

機械学習で株価分析05 銘柄一覧データの取得

# はじめに
本記事では、**TOPIX Core30 の構成銘柄一覧をデータフレーム形式で取得する方法**を紹介します。

# 手順
### 1. TOPIX構成銘柄一覧のダウンロード
[日本取引所グループの公式ホームページ](https://www.jpx.co.jp/markets/indices/topix/#heading_3)（2023/12/17参照）から、TOPIXの構成銘柄の一覧をCSV形式でダウンロードします。ページ中の「構成銘柄別ウエイト一覧」が該当ファイルです。ダウンロードしたファイルは、Google Drive内の任意のフォルダに保存します。

### 2. データフレーム形式で銘柄コード一覧を保存
以下のコードを実行することで、データフレーム形式で銘柄コード一覧を保存・表示できます。なお、csvファイルから銘柄データ一覧を読み込む際には、ご自身で該当ファイルまでのパスを指定してください。

“`python
# ライブラリのインポート
import numpy as np
import pandas as pd
from pandas_datare

【2023年版】Jupyter拡張機能・ショートカット完全まとめ

この記事は[Nuco Advent Calendar 2023](https://qiita.com/advent-calendar/2023/nuco)の17日目の記事です。

::: note
弊社Nucoでは、他にも様々なお役立ち記事を公開しています。よかったら、Organizationのページも覗いてみてください。
また、Nucoでは一緒に働く仲間も募集しています！興味をお持ちいただける方は、[こちら](https://www.recruit.nuco.co.jp/?qiita_item_id=039b08c62caab9544f42)まで。
:::
https://www.recruit.nuco.co.jp/?qiita_item_id=039b08c62caab9544f42

# はじめに
データサイエンスやプログラミングの領域では、効率的な作業が不可欠です。Jupyterはそのための優れたツールであり、本記事ではJupyterの拡張機能とショートカットコマンドに焦点を当てて、よりスマートな作業手法を紹介します。これらの機能をマスターすることで、コーディングやデータ分析

機械学習で株価分析01 コンセプト

# はじめに
本連載記事では、**Pythonを用いた機械学習で株価予測する方法**を紹介します。ただし、筆者はPython・機械学習の経験が2023年12月時点で1か月未満ですので、拙い点はご容赦ください。

また、記事の中ではコーディング内容の説明は最低限に留めています。株価予測の手法についてもあえてブラッシュアップしていません。それぞれ検索ワードを紹介しますので、必要に応じて各々で情報収集してください。要望があれば記事内で追記させていただきます。

# おねがい
本記事を作成した目的のひとつに以下の点があります。
* Python処理の最適化・高速化
* 機械学習手法の説明変数・目的変数・分析方法のアップデート

それぞれ知見をお持ちの方、ぜひコメントでアドバイスをお願いいたします。記事自体も随時アップデート予定ですので、わかりにくい点や説明不足な点はご指摘願います。

# 前提条件
本記事はPython・機械学習・株価分析ともに初心者な読者を想定しています。本記事を追うことで、Pythonを用いた機械学習手法を実装し、株価の予測を実行できることを目標とします。

最終的には以

機械学習で株価分析00 目次

2023/12/17 執筆中、タイトルにリンクのない記事は未作成です。
他にこんな記事が欲しい、等あればコメントください。

# イントロダクション

[01 コンセプト](https://qiita.com/ryo2_9393/items/eb9adcbdb169c38449fb)
本記事のコンセプトを紹介します。

[02 環境構築](https://qiita.com/ryo2_9393/items/8c200a33d9249ddc4642)
Google Colaboratoryを使ったPython実行環境構築を紹介します。

03 Pythonの基礎
Pythonによるコーディングの基礎を紹介します。

04 機械学習の基礎
機械学習を利用するための基礎知識を整理します。

# 株価データの取得

[05 銘柄一覧データの取得](https://qiita.com/ryo2_9393/items/ebeada6e6868b7a880a3)
分析対象としたい銘柄のリストを作成します。

06 個別の株価データの取得
個別銘柄の株価時系列データを取得します。

07 個別の株式情