Python関連のことを調べてみた2022年09月07日

Twitter API returned a 403 (Forbidden), You currently have Essential access which includes access to Twitter API v2 endpoints only.　エラーとAPI v2作成について

# はじめに
この記事では、表題のエラーが出る問題について説明および代替えのコードを記載していく。
# 目次
[はじめに](#はじめに)
[目次](#目次)
[メイン](#メイン)
– [なぜエラーが出るのか](#なぜエラーが出るのか)
– [解決策](#解決策)
– [最後に](#最後に)
# メイン
## なぜエラーが出るのか
原因として、コードがTwitter API v2ではなく、おそらくTwitter API v1のほうを使用するものだと考えられる。
2021年11月に仕様が変わったようで、
初期段階のアクセスレベル「Essential」という状態で、使用できるのはTwitter API v2のみとなったために過去のコードを使用すると起こるエラーになる。
仕様変更前に登録したユーザーは、v1にもアクセスできる「Elevated」のアクセスレベルが付与されているとのことだ。(普通免許改正の準普通車のようだ。)
なので、ユーザーによって実行できるコードの可不可が発生し得るだろう。

## 解決策
解決策はv2を利用するだけなのだが、サンプルコードが少なくYouTube(https

pandas: read_csv の備忘録

pandasのread_csvについて。
いい例はないものかと思い、せっかくなので太陽黒点数使ってみた。

# 公式のdocumentation
– [User Guide — pandas 1.4.4 documentation](https://pandas.pydata.org/docs/reference/api/pandas.read_csv.html)

# 目次
– 動作環境
– 今回使用しているcsvデータ
– read_csvの使用例

# 動作環境
|種類 |バージョン |
|:—————|:————–|
|MacBook Air |Monterey12.5.1 |
|python |3.8.9 |
|jupyter notebook|6.4.10 |
|pandas |1.4.3 |

まずはパッケージのインポートから
“`python:
import pandas as pd
“`
p

Python,Ruby,PHP,Java,JavaScript,Perlの文法・構文の比較

Qiita > プログラミング言語の比較

Python,Ruby,PHP,Java,JavaScript,Perlの文法・構文の比較

# Python

https://qiita.com/Fendo181/items/a934e4f94021115efb2e

# Ruby

https://qiita.com/Fendo181/items/eb2cb17f32d99aa01f59

# PHP

https://qiita.com/7968/items/d739e926189e219273bd

# Java

https://qiita.com/tomonori_hioki/items/cec47a366208d43d7339

# JavaScript

https://qiita.com/Fendo181/items/cca476da99e8f09b6b97

# Perl

https://perlzemi.com/blog/2

WEB+DB PRESS 総集編を有効活用するためのPythonスクレイピング

WEB+DB PRESS という雑誌はご存知かと思います。
WEB+DB PRESSは2021年7月にvol.120を記念し、それまでの全号をダウンロードできる特典がついた総集編が刊行されました。
[WEB+DB PRESS総集編[Vol.1~120] (WEB+DB PRESSプラスシリーズ)](https://www.amazon.co.jp/WEB-DB-PRESS%E7%B7%8F%E9%9B%86%E7%B7%A8-Vol-1-120-PRESS%E3%83%97%E3%83%A9%E3%82%B9%E3%82%B7%E3%83%AA%E3%83%BC%E3%82%BA/dp/4297122154)
これまでの全ての記事が3000円で読めるならばと思い、私も先日Amazonでポチってしまいましたが、有効な使い方いまいち分からず放置してしまっています。
そこで最近勉強し始めたSeleniumを使って記事タイトルを取得してExcelで表にしちゃおう！というのが今回の記事内容です。

## 環境
* Python 3.9
* selenium 4.2.0
* openpyxl

scikit-learnのToy datasetsの紹介

## 背景
・pythonで機械学習や簡単なデータを操作をする時にscikit-learn（以下 sk-learn）のdatasetsはよく使用する。
・Iris（植物のアヤメ）のデータセットが一番有名な気がするが他にもsk-learnのデータセットはある。
・ちょっとしたデータを使いたい時の備忘録として、データを紹介する。

## 目標
・scikit-learnのToy datasetsを紹介する

## sk-learnのデータ構成
・sk-learnのdatasetsは大分類として4種類ある。

|項目 |説明 |
|—|—|
|Toy datasets | sk-learnに内包されている簡単なデータセット　|
|Real world datasets | DLが必要な容量が多いデータセット　|
|Generated datasets | 人工的に生成されたデータセット　|
|Loading other datasets | その他のデータセット　|

## sk-learnのToy datasets
・sk-learnに内包されている、Toy datasetsに

機械学習で人とゴリラを見分ける

最近、怠惰なせいでqittaを書いておりませんでした。
どうも、山田永昌です。

みなさん、ゴリラってあだ名がついている友達っていませんでしたか？
例えば、当方しがない中学生なのですが、学校で何故かゴリラと呼ばれている、もしくは喩えられているのが数人おります。
嫌がってるのか面白がってるのかは詳細はあまり詳しくないので不明です、その様な事実があることは確かでございます。

と言うわけで、今回はゴリラか人か見分けるAIを作り、果たしてゴリラと呼ばれる人はゴリラであるのか客観的に証明してみたいと思います。

まず、機械学習では当たり前ですが、学習させるデータが必要です。
今回はkaggleと言う、機械学習などを嗜んでる方には周知であろうサイトから、ゴリラと人のデータセットを探し、拝借させていただきました。
以下のURLに記載いたします。
https://www.kaggle.com/datasets/ashwingupta3012/human-faces
https://www.kaggle.com/datasets/smiles28/gorillas

今回はgoogle colab上で

Stable Diffusionで画質を爆上げするテクニック【txt2imghd】を紹介

# はじめに
Stable diffusionのイカしたテクニック、`txt2imghd`の仕組みを解説します。
簡単に試すことのできるGoogle Colabも添付しましたので、是非お試しください。
↓の画像は、通常の`txt2img`と`txt2imghd`で生成した画像を拡大して並べたものです。明らかに綺麗になっていることがわかります。

# TL;DR
`txt2imghd`とは、通常の`txt2img`に`img2img`と超解像技術を組み合わせることでStable diffusionで作成した画像のクオリティーを大幅に上昇させるテクニックです。
※既に作成した画像に用いることも可能です。

実際のコードは[こちらのリポジトリ](https://github.com/jquesnelle/txt2imghd)から確認できます。
また[

データサイエンスでDota2強くなるかも説(2)～ビッグデータ取得&定期保存～

## はじめに

最近，Dota2を始めましたが全く勝てません
ハードボットにボコボコにされます．

色々と調べても「死ぬな」くらいのことしか分らず苦戦しています．

### データサイエンスでDota2強くなるかも説

そこで，データサイエンスの力を借りて，どのような状況なら勝っているか？や前回に比べてどのように振舞ったから勝てたのか？ということを数値化して分析していけば強くなるのでは！と考えました．本企画はその仮説を検証していく企画です．

### 前回までのあらすじ

Dota2の情報をPythonで取得できるような環境を作成しました．

https://hamaruki.com/2022/09/01/data-science_with_dota2_01/

### 今回の概要

今回は，Dota2からデータを取得し，定期的に保存する機構を作っていきます．

## Dota2 解析プログラム

### Import

“`python
import dota2gsi
“`

### Demo program

まずはDota2と接続していることを確認．

“`py

xxx has no attribute yyy の対処法(ファイル名とモジュールが同じになってる場合)

## AttributeErrorが出た

python labをアップデートしてからpandasを使おうとしたら、以下のエラー文が出てしまいました。
~~~.ipynb
AttributeError: module ‘pandas’ has no attribute ‘read_html’
~~~
今回の場合、**ファイル名とモジュールが同じになっている事**が原因でした。備忘録としてその対処法をメモしておきます。

### 原因となっているファイルを探す

問題のモジュールのファイルがどこにあるのかを探します。

~~~.ipynb
import os

def findfile(name, path):
for dirpath, dirname, filename in os.walk(path):
if name in filename:
return os.path.join(dirpath, name)
# 探したいファイル名を入力
filepath = findfile(“探したいファイル名”, “/”)
print(fi

pre-commitでテスト自動化

こんにちは、えいりんぐーです

みなさんはテストを書いていますか?
(ここでは単体テストを指しています)
また、テストを自動化していますか?

Circle CI や Travis CI などで自動テストを実施している方も多いかと思います
一方で、制限の厳しい状況 (クライアントや社内事情など) で仕事をしていると、容易には外部サービスを利用できない場合がありますね

今回は [pre-commit](https://pre-commit.com/) を使って git push 時にテストを自動で走らせる方法をご紹介します

# pre-commit

pre-commit は Python 製の [Git hook](https://git-scm.com/book/ja/v2/Git-%E3%81%AE%E3%82%AB%E3%82%B9%E3%82%BF%E3%83%9E%E3%82%A4%E3%82%BA-Git-%E3%83%95%E3%83%83%E3%82%AF) のラッパーです

自前でいちいちスクリプトを書くことなく、よくある処理 (リンタやフォーマッタなど) を実装

BertとWord2vecを組み合わせて謎かけAIを作ってみた。

お遊びアプリとして
BertとWord2vecを組み合わせて謎かけAIを作ってみた。

https://github.com/yasuhirotakao/nazokake

## どんなアプリ
お題を入れると、謎かけを回答してくれるアプリ

“`bash
> python .\nazokake.py

Please input odai : 利根川
2022-09-06 22:49:41.121694
「利根川」と言えば「出産」と説く　その心は!
どちらも「用水/羊水(ヨウスイ)」がつきものです
2022-09-06 22:49:44.241902

Please input odai : 野球
2022-09-06 22:51:30.649636
「野球」と言えば「システム」と説く　その心は!
どちらも「捕手/保守(ホシュ)」がつきものです
2022-09-06 22:51:33.327652

Please input odai : 銀行
2022-09-06 22:52:44.977923
「銀行」と言えば「禁止」と説く　その心は!
どちらも「現金/厳禁(ゲンキン)」が欠かせ

プログラマのプログラマによるプログラマのためのタイピング練習アプリ2

# はじめに
以前，[プログラマのプログラマによるプログラマのためのタイピング練習アプリ](https://qiita.com/tt_and_tk/items/a47bf3016239e1fa5879)にてタイピングアプリを作りました．
が，お世辞にもいい出来ではなく以下のような問題が残りました．

* グローバル変数に頼りすぎ
* 戻れない
* スコアが分かりづらい

今回はそれらを修正したプログラムを作成します．
前回とはガラッと変わってPython使います．

# フォルダ構成
Flaskを使うので以下のようになってます．

“`
.
├── static
│   ├── base.css
│   ├── game.js
│   ├── questions.js
│   ├── script.js
│   ├── select_language.css
│   └── title_screen.css
└── templates
│ ├── base.html
│ ├── game.html
│ ├── select_language.html
│ ├── se

美少女競馬AI予想VTuberのために、動画コンテンツを爆速で作るプログラムを書いてみた。アンド、勉強会内容の共有が少し良くなりそうなツールを作ってみた。

# 結論から先に言うと
動画編集する時間を短くしたかったので、
テキストベースで動画が編集できるプログラムを作った。

1.動画の素材を用意して
2.こんな感じの動画編集スクリプトを書くと

3.こんな感じの動画を生成できる

４. その動画を生成するプロ

毎月XX日（土日祝日の場合は前倒し）にcronジョブを実行する

# はじめに
職場の人に頼まれて業務自動化プログラムをPythonで作成した際，コストをかけずに定期実行するため，「**常時起動しているPCにデプロイし，cronジョブとして登録する**」方法を選択しました。

しかし，定期実行のタイミングが「毎月20日（**ただし20日が土日祝日の場合は20日以前の最終営業日**）の午前10時30分」という複雑なものだったため，cronジョブの登録の仕方でつまづきました。

いろいろ調べた結果，おそらく一番スマートだと思われる方法を見つけたので共有しようと思います。

管見の限りでは，「土日祝日だけ実行」や「平日だけ実行」といったソリューションはあるものの，今回のパターンにベストマッチするソリューションはなかったように思いますが，万が一既出だったらすみません。

# 実行環境
以下の環境では動作が確認できています。
– WSL2 (Windows10) & Python3.6
– Mac OS 12 & Python3.10

# 前提
今回は例として，`yagao`ユーザーでホームディレクトリ直下の`sample.sh`を上に書いたタイミングで実行

40代プログラミング初心者がPython＋FlaskでQiitaとZenとはてぶのトレンドまとめサイト作ってみた

作ったサイト名：話題のテック　下がサイトです

https://wadainotech.com

Qiitaの記事にいいねをしてくれると、勉強のやる気が出るのでお願いします

40代の初心者のモチベーション応援してね

https://qiita.com/usagipy/items/3cedb356702c1301028b

40代のプログラミング初心者が8ヶ月目webサービスを作りたい

Webサービスとかめんどくさいだろうなぁ。。。どうやってつくるのかなぁ

よし、本を買おう！買いました

Pythonではじめる Webサービス&スマホアプリの書きかた・作りかた
https://amzn.to/3TiTYuj

この本のコンセプト

リリースしろ
たくさん作れ

1/3を読んだ時点でとりあえず作ろうと思いました

この本はpythonのフレームワークのFlaskを使っています。

Flaskってなんて読むの？フラスクでいいの？

ついでにFlaskの本も2冊購入しました

リリースしろたくさん作れのために、アイデアの引き出し用に本はあっても困らないので

元記事を表示

zip版の #vscode で #anaconda の仮想環境下での #python の開発環境構築(てこづったとこのみ) #プログラミング

本内容を利用した場合の一切の責任を私は負いません。

検索したけど、OSユーザー全体ではなく、仮想環境ごとにvscodeの環境を作る方法がなかなかわからなかったので。

# バージョン
– OS
OS 名: Microsoft Windows 10 Home
OS バージョン: 10.0.19043 N/A ビルド 19043
システムの種類: x64-based PC
– Anaconda3
Navigator 2.1.4
– vscode(zip版)
VSCode-win32-x64-1.38.1
– vscodeのpython拡張機能
2020.2.64397 (21 February 2020)

# 前提
Anacondaはインストール済み。
Anacondaの仮想環境作成済み。
vscodeは展開済み。
vscodeのワークスペース作成済み。
vscodeのpython拡張機能インストール済み。

# 本題
複数バージョンのAnacondaを使うことは稀だと思うので、vscodeの設定で下記のA

元記事を表示

Image-to-image translation「Pix2Pix」を理解、実際に動かしてみる

# 論文読み
Image-to-Image Translation with Conditional Adversarial Networks [Phillip Isola+ CVPR17]
https://arxiv.org/abs/1611.07004

## Introduction

コンピュータビジョンにおける多くの問題は、入力画像に対応する出力画像に変換する問題と考えることが出来る。十分な学習データが与えられたときに、あるシーン(RGB画像、エッジマップ、セマンティックラベル等)の表現を別のシーンの表現に変換するタスクをautomatic image-to-image translationと定義する。これらの課題は画素から画素を予測するという設定は同じであるのにも関わらず、それぞれ独立した別のアルゴリズムを用いて

元記事を表示

【Flask】request.args実行時のエラー違いを確認する

## request.argsのエラーの違いをクエストリングを使って確認してみた

| GETリクエスト パラメータ | パラメータが不適切 | パラメータない | 説明 |
|:———–|:———–:|:————:|:———–|
| request.args[‘value’] | KeyError | BadRequestError |GETパラメータ(Keyがなければエラーになる)|
| request.args.get(‘value’) | KeyError | KeyError none | GETパラメータ(KeyがなければNoneを返す) |
| request.args.give(‘value’, ‘default_value’) | KeyError | Default Value | GETパラメータがない場合のデフォルト値を指定する |

## ■ request.args[ ‘value’ ]

“`app.py
@app.route(‘/result’)
def result():
# 辞書

元記事を表示

【初心者メモ】The _imagingft C module is not installed の対処法

## 開発環境
Python3 (Anaconda3 + VSCode)

## 問題
wordcloudで画像作成しようとしたらThe _imagingft C module is not installedというエラーが出た。

## 解決法
対処法としてubuntuを使ったものが多く、調べるのに数時間かかったが、以下のサイトを参考にしてコマンドプロンプトでpillowをインストールしなおしたら直った。

“`
pip uninstall pillow
pip3 install pillow
“`

## 感想
CSDNという中国語のプログラミング知恵袋的なサイトが結構役に立った。中国語は読めないけどコードは世界共通だから助かった。

## 参照サイト
https://blog.csdn.net/qq_36786467/article/details/126059096?spm=1001.2101.3001.6650.3&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate

元記事を表示

【AzureFunctions】AzureAutoMLをAzureFunctions上から動かしてみた(メモ)【AzureAutoML】

今後全体の流れを書いた記事を書くので今から始める方はそちらをご覧ください。
ここでは自分と同じ症状に出くわした方（もしくは将来の自分）のために状態とやったこと等を載せていきたいと思います。

python: 3.7.9
ローカル: win10

VSCodeからデプロイしてます。

requirements.txtには下記を記載した際に起こった現象です。

“`text: requirements.txt
azure-functions
azureml-core
azureml-sdk[automl]
“`

# 1. Result: Failure Exception: AttributeError: module ‘typing’ has no attribute ‘_ClassVar’
どうやら`dataclasses`というモジュールが悪さをしているようです。
Functions上でアンインストールするすべがないので、ローカルにモジュールを書き出して不要なものを削除する方針で進めます。

“`powershell
pip install -r requirements.

元記事を表示