- 0.1. pyenvのインストールではまってしまった。 メモ
- 0.2. Qiita への記事投稿のおすすめのやり方
- 0.3. Python3チートシート(データ分析編)
- 0.4. Spring × Ras Piでセンサから取得したデータを表示する #03AWS編
- 0.5. Pythonで画像ファイルのIPTCを更新する（pyexiv2）
- 0.6. Pythonのrequestsライブラリが読み込んでいるrootCA証明書の場所を確認するワンライナー
- 0.7. ChatGPTと会話しながらWEB上でCSVファイルをインポートできるように実装してみたのでメモメモ
- 0.8. ABC321 提出したコードや感想 (言語:Python)
- 0.9. Djangoサーバー起動時にModuleNotFoundError: No module named ‘pkg_resources’が出た件
- 0.10. JOINしてから条件絞り 条件絞りしてからJOIN
- 0.11. 【Python】sympyの行列をlatex(matplotlib)で表示する
- 1. 概要
- 2. エラー
pyenvのインストールではまってしまった。 メモ
Open Interpreter が有料だと思って無視していたが、無料だと分かりインストールしようとしたところPython3.9では動かないことが分かり、3.10に変更しょうと思いました。
VS-Codeのインタープリターで変更すれば良いかと思ったらそうはいかない。
ターミナル上で変更したいので、pyenvをインストールしました。
LinuxやMacだと簡単だがWindows上だと結構面倒で、かなりはまってしまった。
pyenvのインストールはこちらの記事が参考になりました。
[【pyenv-win】pyenv のインストールと実行](“https://qiita.com/probabilityhill/items/9a22f395a1e93206c846)インストール完了後、バージョン確認のコマンドを実行すると、以下のエラーが出力
““`
‘DOSKEY’ は、内部コマンドまたは外部コマンド、
操作可能なプログラムまたはバッチ ファイルとして認識されていません。
‘chcp’ は、内部コマンドまたは外部コマンド、
操作可能なプログラムまたはバッチ ファイルとして認識されていま
Qiita への記事投稿のおすすめのやり方
すでにやっている方にとっては意味のない記事ですが…
プログラムと実行結果を共に記事にするには，Jupyter Lab でプログラムを含む記事を書き，Save and Export Notebook As … で Markdown を選び，出来上がった Markdown ファイルを Qiita の記事投稿ウインドウにコピペするのが最善。
見やすいし，プログラム片をPythonのREPLにコピペして（必要なら少し変更を加えて）実行してみることもできる。
以下は，つい最近投稿・公開された記事（プログラムと実行結果は画像として張り込まれている）を，上述のようなやり方で投稿するとどうなるかの実例である。
—
## 一次元配列の扱い
この部分に，解説記事を書く。
“`python
import numpy as np
a = np.array([1, 2, 3])
a
“`array([1, 2, 3])
“`python
print(a)
“`[1 2 3]
“`python
type(a)
“`
Python3チートシート(データ分析編)
# 本記事の内容
1. Pythonの基本
2. 事前準備
3. pipコマンド
4. Jupyter Notebook
5. ライブラリによる分析の実践# 1. Pythonの基本
基本的な内容は以下ご参照
https://qiita.com/1429takahiro/items/710a877b1afb1626334f# 2. 事前準備
検証用環境として、OSSのanacondaを利用
https://anaconda.org/“`python:前提環境
(base) [takahiro@ITakahiro ~]$ python
Python 3.7.6 (default, Jan 8 2020, 13:42:34)
[Clang 4.0.1 (tags/RELEASE_401/final)] :: Anaconda, Inc. on darwin
Type “help”, “copyright”, “credits” or “license” for more information.
“`##### venv環境の作成
– venvとはPy
Spring × Ras Piでセンサから取得したデータを表示する #03AWS編
# 前回までに行ったこと
1. ローカルのPCでDocker上にデータベース構築とSpringでのサーバ構築
1. Ras Pi側でセンサからのデータを取得してdocker内のデータベースにデータ登録# 今回行うこと
今までローカルのPCで行っていたことをAWSに移行する。## AWSでdocker&docker-composeを動かす準備＆テスト
### docker部分
[[AWS]EC2内でDockerコンテナを起動して、ブラウザからアクセスする](https://weseek.co.jp/tech/2196/)を参考にHello Worldの表示まで行った。
### docker-compose部分
さらにここからdocker-composeを導入する。
[EC2（AmazonLin
Pythonで画像ファイルのIPTCを更新する（pyexiv2）
## はじめに
先日、Pythonのpyexiv2を使って、複数の画像ファイルにつけたIPTCのキーワードを集計するという記事を書きました。
https://qiita.com/st10/items/5ae77fd5393365cce42a
当初は、キーワードの集計ができたところでよしとしていたのですが、キーワードの更新もやってみようと思い、試してみました。
## 環境
* OS: Windows 11 Home 22H2
* Python: 64ビット版、3.11.4## インストール
* pip install pyexiv2
## IPTC情報のうち、キーワードを更新する
サンプルの画像ファイルからIPTCのキーワードを取得して、取得したキーワードの末尾に現在日時の文字列を追加するという処理を行っています。
キーワードに限らず、更新したい要素の値を作り込み、「要素名: 値」で辞書を作成、作成した辞書をmodify_iptc()メソッドで更新するという流れになります。
“`python
import pyexiv2
import datetime
impo
Pythonのrequestsライブラリが読み込んでいるrootCA証明書の場所を確認するワンライナー
# はじめに
プロキシ環境下などにおいて、独自のrootCA証明書を読み込ませずにPythonでrequestsを行うとSSL証明書エラーが発生する。requestsが読み込んでいる証明書に独自のrootCA証明書を追記すれば解決できるのだが、毎回読み込んでいる証明書の場所と確認方法を忘れてしまうので、自分向けの備忘として残しておく。
## 環境
Python 3.11.2# 読み込んでいる証明書のパスを確認するワンライナー
pythonコマンドにcオプションをつけると、囲った中でコード実行ができる。
“`shell
$ python -c “import requests; print(requests.certs.where())”# /usr/local/lib/python3.11/site-packages/certifi/cacert.pem ※Linuxはこんな感じ
# C:\Users\<ユーザー名>\AppData\Local\Programs\Python\Python311\Lib\site-packages\certifi\cacert.pem
ChatGPTと会話しながらWEB上でCSVファイルをインポートできるように実装してみたのでメモメモ
どうもこんにちは。
Pythonチャレンジ第３弾です。
第１弾、第２弾を見ていない方はこちらからご覧ください。
https://qiita.com/PDC-Kurashinak/private/355fcd920aa6803e59f3
https://qiita.com/PDC-Kurashinak/private/41297d8bff6c938dd80e
今回は、WEB上からCSVファイルをインポートして、そのデータをWEB上に可視化するシステムを作ります。
# 実装方法
## 1. Flaskの拡張機能をインストール
ファイルのアップロードを簡単に扱うために、`Flask-WTF`という機能を使用します。
`requirements.txt`に以下を追加します。“`makefile
Flask-WTF==0.15.1
“`## 2. ファイルアップロードフォームの作成
`app.py`に以下のコードを追加します。
“`python
from flask_wtf import FlaskForm
from wtforms import FileFie
ABC321 提出したコードや感想 (言語:Python)
# 記事構成
[1. Atcoder自己紹介](#1-Atcoder自己紹介)
[2. 各問題の感想と提出コード](#2-各問題の感想と提出コード)
[3. 今回の結果想](#3-今回の結果)
[4. 最後に](#4-最後に)# 1. Atcoder自己紹介
– 茶色?コーダー
– 主な使用言語：Python，C++（C++は最近使ってません）
– 一時期休んでたけど最近再開
# 2. 各問題の感想と提出コード
## A問題
C問題へつながる問題．
文字列として一旦入力して，1桁ずつ調べていく方法で回答しました．
特にいうこと無し．
“`python:A問題
n = input()
num = len(n)
if num == 1:
print(‘Yes’)
exit()
for i in range(num-1):
Djangoサーバー起動時にModuleNotFoundError: No module named ‘pkg_resources’が出た件
## 背景
バックエンドの環境が更新され、git pullし反映後、それまでは問題なく起動していたDjangoサーバーが起動しなくなった。
また、投稿者自身はもっぱらフロントエンド開発ばかりの為、pythonの知見はほぼない。## 経緯
`git pull`を行い反映後、`poetry instal`を行う。
`python manage.py runserver`を実行したところ、エラーが発生。
もちろん、gitブランチを切り替えても解決せず、フロントエンド開発が出来なくなってしまった。## エラー内容
細かいところは大人の事情で省略・・・
一番最後のエラーログ
“`
$ python manage.py runserver… 省略 …
ModuleNotFoundError: No module named ‘pkg_resources’
“`## 環境
– windows10
– Python 3.8.10
– poetry 1.1.12
– pip 21.3.1## 調査した内容
– `poetry install`を行っても、相変わらず上記エラ
JOINしてから条件絞り 条件絞りしてからJOIN
# はじめに
今回扱っていく内容はデータ分析をする上で大事な**前処理**の結合の部分について軽く触れていきたいと思います。またここでは私が学んだこと実践したことを書いていく記事なので間違いなどがある場合はご指摘の方よろしくお願い致します。# 目次
[1.はじめに](#はじめに)
[2.動作環境](#2-動作環境)
[3.”JOINしてから条件絞り”と”条件絞りしてからJOIN” 処理の順番でどう違う？](#3-”JOINしてから条件絞り”と”条件絞りしてからJOIN” 処理の順番でどう違う？)
[4.まとめ](#4-まとめ)
[5.参考文献](#参考文献)# 2. 動作環境
・ Mac OS 13.5
・ Jupyter lab(100本ノック)# 3. ”JOINしてから条件絞り”と”条件絞りしてからJOIN” 処理の順番でどう違う？
私が前処理の勉強にお世話になっている「前処理大全」では”結合処理の前にデータを絞る方が良い”と記されています。では実際に処理時間などどう違っていくのか実践してみたいと思います。
“`python: 結合してから条件を絞る
# 結合処理の
【Python】sympyの行列をlatex(matplotlib)で表示する
概要
sympyは代数の計算を行うことができる標準ライブラリです。
sympy.latex()関数を用いることで簡単に計算式のlatexコマンドを得ることができますが、行列のlatexコマンドをmatplotlibで表示したところエラーが発生したためその原因と解決策を書き残しておきます。エラー
行列式を代入しlatex()でlatexコマンドへ変換した後、matplotlibでその数式を表示します。
“`python
from sympy import symbols, Matrix, latex
import matplotlib.pyplot as plt#xを入力時のシンボルとして指定
x = symbols(‘x’)#行列を定義
matrix = symbols(“a:z”, Integer=True)
matrix = Matrix()
m = Matrix([
[x**3 + 2, x – 2],
[2*x + 3, x**2 – x + 4]])#mをlatexに変換
m = latex(m)
MSTICpyの実践活用の一例の紹介 SANS APAC DFIR Summit 2023
# 伝えたいこと
2023年9月にSANS APAC DFIR Summit 2023にて
`「msticpyの実践活用: 高度な脅威ハンティングを実現すべくSIEMとの虹の懸け橋となる」`
と題して、Microsoftの脅威ハンティングツール msticpyの実践活用の方法の一例の紹介とmsticpyをAPACで布教させていただきました。
スライド資料の共有と、35分の発表時間に伝え切れなかったことをこちらで書きます。# APAC DFIR Summitの発表スライド
持ち時間は35分で、Live Onlineの当日は700名ほどが参加されていたそうで、私は予定通り日本語で話し、同時通訳の方が英語に翻訳されました。Evaluationシートで コンテンツは5段階評価で平均4.31をいただき、プレゼンは平均4.21をいただくことができ一安心です。
日本語版の発表スライドはこちらです↓。
英語版「Practical msticpy use: ra
bytes型を要素としたリストを、str型を要素としたリストにする（Python 3）
## はじめに
IPTCInfo3で画像ファイルの情報を取得すると、各要素の型はbytes型（文字列の文字コード）で返されます。
たとえば、キーワードを取得すると、「bytes型を要素としたリスト」を返してきます。「2月,冬,雪,ダム,雪景色,青空,サンプル」であれば、`[b’2\xe6\x9c\x88′, b’\xe5\x86\xac’, b’\xe9\x9b\xaa’, b’\xe3\x83\x80\xe3\x83\xa0′, b’\xe9\x9b\xaa\xe6\x99\xaf\xe8\x89\xb2′, b’\xe9\x9d\x92\xe7\xa9\xba’, b’\xe3\x82\xb5\xe3\x83\xb3\xe3\x83\x97\xe3\x83\xab’]`が返されます。
これを`[‘2月’, ‘冬’, ‘雪’, ‘ダム’, ‘雪景色’, ‘青空’, ‘サンプル’]`としたいので、各要素をstr型にしたリストに変換する方法を確認しました。
## bytes型を要素としたリスト
IPTCInfo3が返してくるリストを想定しています。
“`python
#
ChatGPT APIをお試しで使ってみる。
## 背景
入力したキーワードからクイズを生成してくれるWebアプリを作りたく、ChatGPT APIを利用するにあたり、準備作業を記事にしてみました。## 準備
以下のサイトを参考に実施しました。
まずはOpenAIのサイトにアクセスしてログインします。
アカウントがない場合は、アカウントを作成します。
https://openai.com/productログイン後、以下のサイトからAPI Keysを発行します。
https://platform.openai.com/account/api-keysこんな感じの画面
「Create new secret key」を押下して、適当なAPIKey名を入力、
「Create secret key」をクリックしたら、一度だけキーが表示されるので控えておきます
Autokey フレーズとタスクのツール
+ Linux Mint21.1
+ Python3すべてが書かれいます。 [Welcome to AutoKey! — AutoKey Main 0.96.0 documentation](https://autokey.github.io/)
## AutoKeyについて
+ Wikipedia 翻訳
“`
AutoKey を使用すると、ユーザーはホットキーとトリガー フレーズを定義して、
事前定義されたテキストに展開することができ、タイプミスや一般的なスペルミスの修正やテキストの定型セクションの挿入など、頻繁または反復的なタスクを自動化できます。
“`## AutoKeyの2つの機能を持ちます。
:::note alert
変更したとき、Saveを忘れないこと。
:::### テキスト置換
テキストエディタなどでユーザが、あらかじめ決めてある単語を入力します。
エンターキーを押下した時、登録していたテキスト文に置換してくれます。
:
theme_name = models.CharField(max_length=999)def __str__(self):
return self.textclass Question(models.Model):
theme = models.CharField(max_length=100)
question_text = models.CharField(max_length=999)def __str__(self):
return
djangoでadminサイトへのリンクを動的に生成する方法
# まとめ
html 内で以下のようにリンクを作成すれば行ける.“`django
管理サイト
“`
### メモ
django でサイトを作成しているとき管理サイトへ移動したいとき予めボタンを作成しておいて簡単に移動できるようにしたかった.
djangoでは/adminで管理サイトに移行されているがセキュリティの都合上urlをadmin以外に変更したほうが良い.
そのためなんのurlに変えたか分からなくなるため動的生成して簡単に移動できるようにしたかった
djangoは国内の利用者が少ないようで日本語で検索しても見当たらなかったためメモ代わりにまとめた# 参考サイト
https://stackoverflow.com/questions/694477/getting-django-admin-url-for-an-object
python activateしても仮想環境にはいれない
# activateしても入れない
コマンドプロンプトに仮想環境名(.venv)がでているにもかかわらず、pip freezeをすると相変わらず仮想環境に入れていない環境である。このような場合の対処方法。#解決方法
仮想環境名が.venvの場合、.venv\Scripts\activate.batをメモ帳で開いて、
“`
set VIRTUAL_ENV=(仮想環境のパス)
“`
の記述を見て、仮想環境.venvの親フォルダの名前を上のパスのフォルダ名と一致させることで上記の問題を解決できる。仮想環境を構築したときのフォルダ名からフォルダ名を変更してしまうと仮想環境にうまく入れなくなるっぽい。フォルダ名が一緒で、他のフォルダに持っていったときは正しく動いた何はともあれ、仮想環境を構築したときからフォルダ構造は変えない方が安全っぽい。仮想環境というからにはポータブルな感じがしてたのになぁ…。
Djangoのstaticファイル
# static
Djangoで静的ファイル（js css image）等を使用する際に使います。
サーバーで動的な動きをしないファイルですね。Djangoでは以下のようなディレクトリ構造なのでtest_web内にstaticディレクトリを打ち込みます。
“`
.test
├── db.sqlite3
├── manage.py
├── test_app
│ ├── __init__.py
│ ├── ////省略////
└── test_web
├── __init__.py
├── templates
├── models.py
├── urls.py
├── views.py
└── test_web <---ココ ├── js ├── css └── images ``` ## setting セッティングファイルに以下のコードを書いておけば問題ないです。 ``` STATIC_URL = 'static/' ``` ## staticファイルの読み込み 面倒と
Django初期設定のコマンドをメモ
追記予定あり…
# Django初期設定1 Djangoプロジェクトを作成します。
“`jsx
django-admin startproject quiz_project
cd quiz_project
“`2 Djangoアプリを作成します。
“`jsx
python3 manage.py startapp quiz_app
“`3 プロジェクトの`settings.py`でアプリを登録します。
“`jsx
INSTALLED_APPS = [
…
‘quiz_app’,
…
]
“`
