Python関連のことを調べてみた

Best Azure Data Factory Training In Chennai | Azure Data Factory Course | 100% Placement

Best Azure Data Factory Training In Chennai | Azure Data Factory Course | 100% Placement

Website: https://www.ficusoft.in/
Call: 94449 23024

Learn Azure Data Factory in Chennai – Master the skills needed for efficient data processing. Join our training for hands-on experience and expert guidance.

scrapy-playwright の page method の evaluate で、パース処理前に複雑な処理を実行

## この記事の概要と想定するユースケース
この記事は、Python でスクレイピングを行うためのフレームワーク Scrapy で、JavaScript が関係する処理を行うためのライブラリ scrapy-playwright に関する記事です。

後で詳しく述べるように、scrapy-playwright で取得したページに対する処理を実行するには、大きく分けて、 **callback 関数（＝Scrapy の spider 側の parse などの関数）が呼ばれる前に実行される playwright_page_methods として指定する方法** と、 **callback 関数内に記述する方法** の２種類があります。

この記事では、前者の playwright_page_methods である程度複雑な処理を書きたい場合に、JavaScript で処理を記述し、それを evaluate で読ませるというやや裏技的な方法について紹介しています。

Scrapy の HTTP Cache でデータを保存する際に、「＜もっと見る＞ボタンをクリックして、全データを表示させる」など一

俺からReact, Vueを学んでみないか？リアルな電卓を作ってみよう！

# 俺からReact, Vueを学んでみないかシリーズ
無茶苦茶調子に乗ったタイトルですが、インプレッションを集めるために煽っているだけです。すみません。

誰も使ってくれないだろう無駄なもの([HTML/CSSで作る超リアルな電卓など]())をどんどんアウトプットしていこうという企画です。

## リアルな電卓はお好きですか？
今回はリアルな電卓を作成しましたwww
皆さんが想像しているよりリアルです。心の準備は宜しいでしょうか？

作成したといっても、NextjsにHTML/CSSを反映させただけですけど、、、
とはいえ、reactjsで動くように無茶苦茶修正しましたし、JavaScriptも修正が大変でした。

—

### 完成物

下記から確認できます！
[https://dashboard-next-ui.vercel.app/next-ui](https://dashboard-next-ui.vercel.app/next-ui)

![スクリーンショット 2023-12-08 14.58.26.png](https://qiita-image-store.

両端固定梁(英:fixed beam）第6章 はりのたわみと不静定はり 基本例題6.29 p180「材料力学演習(20221021)」をsympyでやってみたい。

# オリジナル
[基本例題6.29 p180](http://zairikiweb.starfree.jp/zai_enshuh/zai_enshuh_ver.3.3.pdf#page=185)＜[「材料力学演習(20221021)一括(ver.3.3)」を勉強したい。#sympy](https://qiita.com/mrrclb48z/items/c3274daf5f7a99cfe027#%E4%BD%9C%E6%A5%AD%E4%B8%AD%E7%A7%81%E3%81%AE%E8%A7%A3%E7%AD%94sympy)
　　　　　　　　？？？タブレット等で、pdfを開く事ができないかも。？？？　
# sympyで
“`python
# ver0.1
from sympy import *

var(‘x,a,b,P’ ,real=True)
var(‘MAC,MCB,MA,MB’ ,real=True)
var(‘MA,MB’ ,real=True)
var(‘RA,RB’ ,real=True)
var(‘θAC,v

Python で PDF にテキスト透かしを追加する方法

## はじめに
テキスト透かしは、ファイル、画像、またはその他のメディアに追加される透明なテキストの一種です。PDFにテキスト透かしを挿入することで、文書の作成者や著作権を表示し、文書のセキュリティを保護することができます。以下に、Pythonを使用してPDFにテキスト透かしを追加する方法を紹介します。
## 環境
* Python 3.12.0
* [Spire.PDF for Python](https://www.e-iceblue.com/Introduce/pdf-for-python.html)ライブラリ

このライブラリは購入する必要がありますが、[30 日間の無料試用版](https://www.e-iceblue.com/TemLicense.html)も提供されています。
もっと多いサンプルコードについて、[Spire.PDF for Python](https://www.e-iceblue.com/Download/Spire-PDF-Python.html)をダウンロードして参照してください。
## 準備
まず、[Spire.PDF for Python](h

Raspberry PIのGPIO PIN情報確認

# 概要
今日はRPIのGPIO状態を確認するパッケージをインストールして簡単に
GPIO状態を確認してみましょう。

# パッケージインストール
次のコマンドを使用してWiringPiパッケージをダウンロードします。
※gpio readall コマンドを実行するためにインストールするパッケージです。

~~~
wget https://project-downloads.drogon.net/wiringpi-latest.deb
~~~

~~~bash
pi@RPI3B:~ $ wget https://project-downloads.drogon.net/wiringpi-latest.deb
–2023-12-05 21:36:27– https://project-downloads.drogon.net/wiringpi-latest.deb
Resolving project-downloads.drogon.net (project-downloads.drogon.net)… 188.246.205.22
Connecting to project

Azure OpenAI利用の方必見！最新OpenAI Python APIライブラリ v1.x

2023年11月に**OpenAI Python APIライブラリ**がアップグレードされ、**バージョン1.x**となりました。これまで、私も**Azure OpenAI**において**バージョン0.28.1**を利用していましたが、**バージョン1.x**を使うことにしました。この記事では、利用が多いと思われる**Chat Completion API のv0.28.1と v1.x の違い**を中心に書かせて頂いています。なお、他にもいろいろ変更がされていますので、詳細については、Microsoft社の下記のページに載っていますので参考にして頂ければと思います。また、記事の最後の方には、バージョン1.xのライブラリを使い、Windowsのコマンドプロンプト画面の中でGPTと簡易的に会話できるコードも載せました。コマンドプロンプトの黒い画面でGPTと会話してみるのもシンプルで面白いです。

https://learn.microsoft.com/ja-jp/azure/ai-services/openai/how-to/migration?tabs=python%2Cdalle-fi

3.pandas 2.0以降のエラーについて

**3.pandas 2.0以降のエラーについて**

pandas1.5.3まで使用可能だった一部のメソッドについて、pandas 2.0以降では廃止（エラー）になるため、下記にまとめます。

・目次
3.1.警告機能
3.2.廃止機能
　3.2.1.appendメソッド

**3.2.廃止機能**
append()：以下発生
　AttributeError: ‘DataFrame’ object has no attribute ‘append’. Did you mean: ‘_append’?

pandas 2.0で廃止された機能（2023/4/3　リリース）
　※2023/12/8時点最新はpandas 2.1.3 (2023/11/10　リリース)

対策：
“`Python.
df = df.append(pd.Series(data), ignore_index=True)
“`

↓
“`Python.
df = pd.concat([df, pd.DataFrame([data])], ignore_index=True)
“

簡単にAirPassengers時系列解析をしよう

## 今回のデータ解析を通して、楽しく学んでいきましょう

### ライブラリ&データの読み込み
“`python
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import statsmodels.api as sm
from statsmodels.tsa.stattools import adufuller
from statsmodels.tsa.seasonal import seasonal_decompose
plt.rcParams[‘font.family’] = ‘Hiragino Maru Gothic Pro’

#df = pd.read_csv(‘AirPassengers.csv’, index_col=’Month’, parse_dates=True)
df = pd.read_csv(data)
df.set_index(‘Month’, inplace=True)
df.head()
“`
### datetime型にして曜日取得
“`pyt

YOLOv8でセグメンテーションを行ってみた

YOLOv8でセグメンテーション（インスタンスセグメンテーション）を行ってみました。
YOLOの最新版であるYOLOv8には日本語のドキュメントもあります。

https://docs.ultralytics.com/ja/

https://github.com/ultralytics/ultralytics

ドキュメントと[Google Colaboratoryのノートブック](https://colab.research.google.com/github/ultralytics/ultralytics/blob/main/examples/tutorial.ipynb)を読みながらYOLOv8を実行してみました。

# セグメンテーション
Google Colaboratoryにて実行しました。
ランタイム->ランタイムのタイプを変更->T4 GPUを選択
“`Python
from google.colab import drive
drive.mount(‘/content/drive’)
“`
“`Python
!mkdir “/content/drive/MyD

KaggleのTitanicでデータ分析を学ぶ

KaggleのTitanicでデータ分析を学びます。

私は最近Kaggleを始めた初心者です。
研究でPythonやRを使っておりデータ分析のスキルに少し自信があったのですが、Kaggleを始めてから、私のデータ分析スキルが微々たるものであることを痛感しました。
そこで、KaggleのTitanicでデータ分析を学び、データ分析スキルを上げようと思います。
この記事では、[Titanicコンペ](https://www.kaggle.com/competitions/titanic)のコードを書き、学んだことを書いていきます。

# ライブラリの読み込み
“`Python
import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
“`

# データの読み込み
[pandas.dataframe](https://pandas.pydata.org/docs/reference/api/pandas.read_csv.html)を用いて、学習データ、テスト

NS高キャンパスの図書管理システム開発！

# Flaskを用いたCPの「図書管理システム開発」の概要

### 制作デモページ
制作中のものになりますが、９割型完成しています。
ngrokを使用したデモになるので、自宅でProgramを動かしてないときは止まります。
基本的にこの記事公開中は動かしっぱにしておく予定ですが、メンテナンスの影響で停止させることや想定外のエラーで停止する可能性があります。
データベースなどは、テスト用のデータなので、アカウント登録などは自由にやっていただいて大丈夫です。
https://frank-sole-boss.ngrok-free.app/

### 制作意図
筆者が通学するNS高等学校”F”キャンパスには３００冊以上の先輩や歴代のキャンパス長が寄贈していただいた本が多くあり、もっと管理を確実にしてより多くの人ひとに本の魅力を伝えたいとい

たった1枚の画像から顔認識してみる (在室検知)

この記事は [coins Advent Calendar 2023](https://adventar.org/calendars/9226) 10日目の記事です。

どうも、Nameless です。最近は AI が流行りのようですね。今回は割と実用的な AI の使い方を紹介します。

## 導入

AI を活用したい事例として、顔認識があると思います。ここでは、「ある写真から写っている人物を顔から判別する」ことを考えます。

しかしこんなことを聞いたことがあるでしょう。「AI の学習には、大量のデータ(この場合は学習させたい人物の写真) が必要である！」と。

これは確かに正しいのですが、今回のようなタスクだと実は必要ありません。**問題設定を適切にすることで、追加学習なしでたった一枚の画像から人物を識別できるようになります。**

## 今回想定するユースケース

– **AI を利用して在室検知したい**状況を考えます。
– web カメラから部屋を定期的に撮影し、誰が写っているのかを判別して記録します。
– 検知したい人物の顔写真は 1 枚程度しか持っていないものとします。

Python 高速化選手権

この記事は [筑波NSミライラボ Advent Calendar 2023](https://qiita.com/advent-calendar/2023/tsukuba-ns-mirailabo) の 9 日目の記事です。

## はじめに

Pythonの速度に関する批判には目を背けることなく、私たちは真正面から向き合いましょう。
こんにちは、筑波大学 情報学群 情報科学類 1年 の Nameless です。Pythonista の皆さんは、一度はこんな言葉を聞いたことがあるかもしれません。
### 「 Python は遅い😡」

はい、正しいです。しかし、負けた気がしませんか？確かに、C++ や Rust は速いですよね。そりゃ、コンパイルができて静的型付けや手動によるメモリ管理が使えれば速いだろうし、ワインとぶどうジュースを比べているようなものです。

でもPython は遅いからって他の言語に浮気するのは、ちょっと待ってください。柔軟性だってあるし、書きやすさだって最高ですよね。そんな風に考えたことないですか？

だからこそ、この選手権で Python が速さにおいて

[備忘録] Poetryからrequirements.txtを出力させる

# 出力方法

## [tool.poetry.dependencies]に記述しているもののみ出力させる場合

“`shell
$ poetry export -f requirements.txt -o requirements.txt –without-hashes
“`

## [tool.poetry.group.dev.dependencies]のものを含める場合

“`shell
$ poetry export -f requirements.txt -o requirements.txt –without-hashes –with dev
“`

# `poetry export`コマンドの引数

“`shell
Description:
Exports the lock file to alternative formats.

Usage:
export [options]

Options:
-f, –format=FORMAT Format to export to. Currently, only constrai

03faxのサイトから請求明細を保存する

インボイス制度導入に伴い、使用しているFAXサービス(03fax)の請求明細をダウンロードして保存する作業を自動化したいと思い、Seleniumを使って以下のコードを書きました。

https://03plus.net/03fax/

“`03fax.py
from time import sleep

from selenium.webdriver.common.by import By

from selenium import webdriver
from selenium.webdriver.chrome.service import Service as ChromeService

#Seleniumで使用するドライバのバージョンアップ自動化
from webdriver_manager.chrome import ChromeDriverManager

# Seleniumの初期化
def initialize():
new_driver = ChromeDriverManager().install()
service = ChromeService(

フルスクラッチでバッチ正規化を理解する

## この記事でやること
E資格の勉強中にミニバッチ学習のバッチ正規化で躓きました。みんな大好き”ゼロつく”でもあまり詳しく取り上げられていないため、この記事では数式の理解とスクラッチの実装を初学者レベルで追っていきたいと思います。

## バッチ正規化とは
ざっくり言うと、「学習の際にミニバッチを平均=0、標準偏差=1となるように正規化すること」です。出力が適度にばらけることで勾配消失などの問題を予防することができます。MITのDeep Learning Bookによると正確には、最適化(Optimization)ではなく再パラメータ化(Reparametrization)という手法の一つのようです。複数の隠れ層を持つ深層学習モデルで、各層の活性化層前にバッチ正規化層を挟みます）。モデル全体のイメージは下図のようになります。


それで

【HackGPT Tokyo2023】ChatGPTを活用したプロダクト開発に挑戦しました

## はじめに ##
Data Science Leagueのエンジニア、yodaです。2023年5月6日から5月7日にかけて開催された「HackGPT Tokyo2023」に参加しました。DSLからも複数のメンバーが参加しました。

https://hackgpt.tokyo/

ハッカソンではAPI使用に関する講義の後、開発を始めるためのKick Offセッションが行われました。ChatGPTのAPIを活用した新しいアイデアを出すために、チーム全員でブレインストーミングを行いました。最終的に、私たちのチームは4コマ漫画自己紹介アプリの開発に集中することを決めました。

開発期間中のBuild Timeでは、チームメンバーが協力してアプリの開発に取り組みました。私たちのアプリは、ユーザーがプロフィール写真やキャプションを入力すると、ChatGPTが自動的にそれに基づいて4コマ漫画を生成する機能を備えていました。

## ChatGPTのAPIを効果的に活用するための重要なポイント ##
ChatGPTのAPIを効果的に活用するためには、以下の重要なポイントに注意する必要がありました。

スマートロック sesame を line から開閉してみた

## この記事について
この記事は Akatsuki Games Advent Calendar 2023 の8日目の記事です。
Advent Calendar の7日目はなかひこくんの
[Terraform で CloudRun + Identity-Aware Proxy をやっていく 2023](https://hackerslab.aktsk.jp/2023/12/07/105429) でした。
記事内にある基盤は本当にお世話になっていて、自分もクライアントの立場から貢献をしていきたいところです…！

## 作るきっかけ

自分は 自宅のドア と アパートのエントランスドア（この規模では珍しい気がする）を開ける解錠ボタン にスマートロックのsesameを使用しています。
また、wifiモジュールを使用してbluetooth圏外からも操作できるようにしています。
ただ操作はsesame公式のアプリを使用していたのですが、wifi経由だと反応しない場合が何回かあり家に入りたいのに入れない！という状況があったためより使いやすい手段を探す事にしました。

## 使用するもの

– l

CyberAgentの日本語LLMを使って俺様ChatBotを作った話

# はじめに

HuggingFaceに公開された日本語LLMを使ってみて、ChatBotを作りたいな〜と思ったらそれなりに簡単にできたので、まとめてみます。

# ダウンロード

以下のURLに詳細が記載されています。

https://huggingface.co/cyberagent/calm2-7b-chat

以下のコマンドでインストールします。

“`
git lfs install
git clone https://huggingface.co/cyberagent/calm2-7b-chat
“`

クローンを実行したディレクトリにcalm2-7b-chatというディレクトリが作成されます。

# 動作環境

– OS Ubuntu 22.04
– CPU Intel® Xeon(R) CPU E5-1680 v3 @ 3.20GHz × 16
– RAM 120GB
– GPU NVIDIA Corporation GP102GL [Quadro P6000]

# 試しに動かしてみる

huggingfaceのページにサンプルコードがあるので、それを実行してみ