- 1. PANOS不具合の効率的な解析: ウェブスクレイピングとGPTAPIを活用したツールの開発
- 2. opencvでの画像の前処理からndarray変換を並列処理で高速化する。
- 3. RealSense入門: カラーとデプス映像の取得方法
- 4. Blenderで卵を作成
- 5. 同時に処理を実行して高速プログラムを書こう！
- 6. SentenceTransformers と Heroku Postgres (pgvector) でベクトル検索を試してみる
- 7. 2023年1番リアクションをもらった投稿、知りたくない？
- 8. python自身で再起動する方法
- 9. 【Python】PyTorch を用いた Stiefel 多様体上の最適化 (2023)
- 10. 画像認識の処理の手順
- 11. Backlog APIで添付ファイル付きの課題を追加する
- 12. 【Python】outlookカレンダーの予定から、予定時間の天気を返す
- 13. Pythonで「文字列、リスト、rangeなどからタプルを作成する」の動作を確認してみた
- 14. 【ゼロから始める】TitanicコンペからKaggleに入るダイジェスト
- 15. pythonで正しく除算の切り捨て、切り上げを行う方法
- 16. The ‘pathlib’ package is an obsolete backport of a standard library ・・・
- 17. リフレッシュして、perl と python を楽しもう。
- 18. ビームフォーミング(最小分散法)の理解
- 19. 非情報系院生が９ヶ月間”復習特化”でAtCoder水色を達成した話
- 20. M1 macbook nativeでRos2 humbleは動きます！
PANOS不具合の効率的な解析: ウェブスクレイピングとGPTAPIを活用したツールの開発
# 作成経緯
最近Paloalto 製品のファームアップをすることが多くそのたびに対象のOS を適用して問題ないか、いちいちExcelに転記して翻訳して全部抽出する作業をやってました。１つのバージョンを調べるだけでも不具合は７０件前後あるので、かなり労力がかかり退屈な作業であんまり好きではありませんでした。
というわけで情報収集、翻訳、Excel作成をウェブスクレイピングで自動化してしまおうと思い作成しました。
# 既知不具合のページ
[pan-os10.2.6 Known Issue](https://docs.paloaltonetworks.com/pan-os/10-2/pan-os-release-notes/pan-os-10-2-6-known-and-addressed-issues/pan-os-10-2-6-k
opencvでの画像の前処理からndarray変換を並列処理で高速化する。
# はじめに
## 自己紹介
大学2年生で情報系の学科にいます。AIに興味があって、AIエンジニアのインターンをしたり、NLPの研究をちょっとしたりしています。もし記事に不備があればコメントで教えていただけると幸いです。## 背景
6万枚以上のtif画像から、データの前処理をする際に並列処理で高速化できないかなと思って調べながら実装してみました。# 並列処理とは?
非同期処理、並行処理、並列処理の3つはかなり混同しやすい概念ですが、参考文献[\[1\]](https://qiita.com/Toyo_m/items/992b0dcf765ad3082d0b)、[[2]](https://qiita.com/simonritchie/items/1ce3914eb5444d2157ac)の記事がわかりやすいなと思ったので、並列処理自体の話は下記のサイトにお任せします。# 実装
## pythonにおける並列処理の記述
pythonで並列処理を記述するにはconcurrent.futuresとmultiprocessingの2つの標準ライブラリが使えます。今回はmul
RealSense入門: カラーとデプス映像の取得方法
Intel RealSenseは、デブスカメラの1つです。カラーカメラの映像とデプスカメラの映像を取得でき、これにより、3Dスキャンや物体検出などのタスクを実行できます。本記事は、Pythonを使用してRealSenseからカラーカメラとデプスカメラの映像を取得していきます。
必要条件
RealSense: Intel RealSenseカメラ（例：D415、D435）を用意してください。
RealSense SDK 2.0: [Intelの公式サイト](https://www.intelrealsense.com/sdk-2/)からRealSense SDK 2.0をインストールしてください。
Python: Pythonがインストールされていることを確認してください。
pyrealsense2: Python用RealSenseライブラリをインストールしてください。
“`
pip install pyrealsense2
“`
## 1: ライブラリのインポート
“`pyhon
import pyrealsense2 as rs
import numpy as np
imp
Blenderで卵を作成
## はじめに
Blender 4.0で、**ジオメトリーノード**を使って**卵**を作成してみました。
また、すべての操作をPythonで記述することで、簡単に再現できるようにしています。作成した卵とジオメトリーノードは下記になります。
## ジオメトリーノードの説明
1. `グループ入力`: UV球を元にしています。`XYZ`が`±１`の範囲にあります。
2. `位置`: 位置属性を取り出し、「XYZ分離」と「乗算」の入力にします。「XYZ分離」の方で卵型に変形を計算します。
3. `XY
同時に処理を実行して高速プログラムを書こう！
速度改善で悩まれている方は多いと思います。
今回は速度改善の手法として並列処理と並行処理を紹介します。※今回紹介する並列処理と並行処理を組み込むには特別なライブラリのインストールは必要とせず、
Pythonの標準ライブラリで対応することができます。https://docs.python.org/ja/3/library/concurrent.futures.html
通常の処理と並列処理と並行処理を比較するにあたり、以下を理解する必要があります。
※前提条件として処理Aと処理Bが存在する。
|処理名 |詳細 |
|—|—|
|通常の処理 |順番に処理を行う。処理Aが終了次第、処理Bが実行される。 |
|並列処理 |処理Aと処理Bの同時に処理を実行し、結果が出たもの順に出力する。 |
|並行処理 |処理Aと処理Bを細かく分割し、AとBを効率よく切り替えて処理する。 |利用PCの処理性能が高いことに加え、簡易なプログラムのため、
並列処理と並行処理の差分があまりないですが、実行速度を比較していきます。|処理方法 |実行速度 |
|—|–
SentenceTransformers と Heroku Postgres (pgvector) でベクトル検索を試してみる
## 背景
生成 AI を活用していくにあたって「大規模言語モデルに含まれない情報をどうやって追加するか？」モデル自体を学習により強化させる他に、Retrieval-Augmented Generation いわゆる RAG、プロンプトに関連情報も入れ込んでしまって補おうとする手法が活気づいているように思う最近です。
そのときの「どうやってプロンプトに付加する関連情報を選ぶのか？」このやり方としてベクトル検索が賑わいを見せており、仕事としてもこの仕組みを理解しておいた方が良さそうだとなりまして、この年末にあれこれ調べて検証したことをまとめてみました。
:::note warn
免責事項: あくまで自分なりに仕組みを理解することを主眼に置いているので、商用サービス等実運用で使う場合には様々な追加検討・考慮からの実装・テストが必要であろうこと、あらかじめご了承ください。また、内容・説明に関してそもそも間違っているじゃん、なんてこともあるかもしれません。情報の正確性については各種情報源を参照の上、各自ご判断いただけますようにお願いします。
::::::note info
この記
2023年1番リアクションをもらった投稿、知りたくない？
# はじめに
はじめてpythonに挑戦してみた赤ちゃんエンジニア用の技術メモです。### きっかけ
Slackの発信にリアクションをもらえるとすごく嬉しい。社内Slackであれバズると嬉しい。
沢山リアクションがもらえた投稿ってどんな投稿なのか気になる。私の投稿もTOP10くらいにはランクインしてるのでは？（期待）
ということで1番だけと言わず沢山リアクションをもらった投稿ランキングを取ってみた！## 完成したもの！
Slackへの投稿もPythonで出来るようにしてみた（かっこいいから）
## 使用したもの
・Slack
・Slack api
・Python## 流れ
1.Slackアプリを作る
2.Slack APIを使うための準備
3.Pythonで集計し結果をSlackチャンネルに投稿！おしまい、簡単な気がします
python自身で再起動する方法
## Python自身で再起動とは
Pythonを使用していて、エラーなどの理由からPythonのコードを再起動させた方が早い場合など、ありますよね。
そういった場合は次の手段が有効となります。
（ただし基本的にこれは強行手段なので褒められるやり方ではありませんし、推奨できるものではないことを念頭に次へお進みください。）使う場面を上げれば死活チェックのシステムで使えそうですね。
自分では予期していない、ライブラリ内でメモリリークが発生し止まってしまう場合などは中々対策ができないので使えるかもしれません。## 手法
pythonファイルと同階層に以下のbatファイルを作成します。
“`bat:restart.bat
python main.py
“`“` python: main.py
import subprocess
import sys
import os
import timeprint(“hello”)
# 3秒後に再起される
time.sleep(3)# batファイルを実行させる
subprocess.Popen([fr”{os.getcwd(
【Python】PyTorch を用いた Stiefel 多様体上の最適化 (2023)
本記事では、PyTorch を用いた Stiefel 多様体上の最適化手法について紹介する。
ここで、Stiefel 多様体とは直交制約を満たす以下の行列の集合で表される。
“`math
\begin{equation}
\mathop{\mathrm{St}}(n,m)=\left\{X\in\mathbb R^{n\times m}\mid X^\top X=I_{m\times m}\right\}
\end{equation}
“`PyTorch を用いた Stiefel 多様体上の最適化、特に深層学習における Stiefel 多様体上の最適化においては、以下の2つの手法がよく用いられる。
1. Regularizer-based method
正則化項 $\frac14\|X^\top X – I_{m\times m}\|_2^2$ を用いる手法
1. Retraction-based method
リーマン多様体上の最適化手法を用いる手法また、本記事では簡単な実装例を紹介するために以下の例題を SGD を用いて解くことを考える。
“`math
画像認識の処理の手順
画像認識は、コンピュータが画像や動画内の物体、パターン、特徴を、識別する事を言います。本記事では、画像認識の処理の手順に関して取り扱っていきます。
## 1: 画像の取得
目的: 画像の取得。
方法: WEBカメラ、デプスカメラ、画像、動画を取得して入力として使用。## 2: 画像の前処理
目的: 画像を分析しやすくするために、ノイズを減らし、画像を標準化する。
手法: グレースケール変換、ヒストグラム均一化、ノイズリダクション、エッジ検出、リサイズ。## 3: 特徴抽出
目的: 画像から識別可能な特徴を抽出する。
手法: エッジ検出、テクスチャ分析、形状抽出、カラー分析、SIFT（Scale-Invariant Feature Transform）、HOG（Histogram of Oriented Gradients）など。## 4: 特徴選択/削減
目的: 分析のために最も有用な特徴を選択し、次元の呪いを避ける。
手法: 主成分分析（PCA）、線形判別分析（LDA）、オートエンコーダなど。## 5: 分類/認識
目的: 抽出された特徴を使用して、画像内のオブジェ
Backlog APIで添付ファイル付きの課題を追加する
こんにちは。Kaneyasuです。
今日はBacklogのお話です。
Backlog APIで添付ファイル付きの課題を登録する方法を紹介します。Backlog APIは無論公式ドキュメントがありますが、APIという文化に慣れていないと読み取りきれないこともあると思います。
私もそんな一人で、APIを使って課題は追加できるだけれど、添付ファイルの付け方がわからず少々戸惑いました。
解決したので、書き記しておけば誰かの役に立つかなと思った次第です。https://developer.nulab.com/ja/docs/backlog/
[Backlog ヘルプセンター – Backlog API で課題を登録する](https://support-ja.backlog.com/hc/ja/articles/360046783973-Backlog-API-%E3%81%A7%E8%AA%B2%E9%A1%8C%E3%82%92%E7%99%BB%E9%8C%B2%E3%81%99%E3%82%8B)
# 本記事のターゲット
Backlogを運用していて、APIを使ってより
【Python】outlookカレンダーの予定から、予定時間の天気を返す
# 製作意図
自分の予定に合わせた天気予報が欲しかったため。天気予報に関するプロダクトは世にあふれているが、個人の予定に合わせて柔軟に天気予報を出すプロダクトは見かけない。
outlookカレンダーの予定をもとに、予定の場所で天気を判定することができれば、要件を満たせそう。
# 利用環境等
### 言語・ライブラリ
– pyhon3.11.1
– バージョンの指定は必要ない
– PyWin32
– pythonでwindows32APIを利用するためのライブラリ
– outlookデスクトップアプリから予定を取得するために必要
– Requests
– HTTP通信ライブラリ
– 天気APIなどを利用するために必要
– urllib
– URLを扱うためのライブラリ
– 今回はurlに日本語をパーセントエンコーディングするために必要
– 標準ライブラリ
– datetime
– 時間を扱うライブラリ
– 当日の予定を取得するために利用
– 標準ライブラリ### その他
– ou
Pythonで「文字列、リスト、rangeなどからタプルを作成する」の動作を確認してみた
# 概要
Pythonで「文字列、リスト、rangeなどからタプルを作成する」の動作を確認してみました。以下のページを参考にしました。
https://www.javadrive.jp/python/tuple/index6.html
# 実装
以下のファイルを作成しました。
“`sample.py
mytuple = (“A”, “B”, “C”)
newtuple = tuple(mytuple);
print(newtuple)mytuple = tuple(“Hello Python”)
print(mytuple)mytuple = tuple([“A”, “B”, “C”])
print(mytuple)mytuple = tuple(range(10))
print(mytuple)
“`以下のコマンドを実行しました。
“`
$ python3 sample.py
(‘A’, ‘B’, ‘C’)
(‘H’, ‘e’, ‘l’, ‘l’, ‘o’, ‘ ‘, ‘P’, ‘y’, ‘t’, ‘h’, ‘o’, ‘n’)
(‘A’, ‘B’, ‘
【ゼロから始める】TitanicコンペからKaggleに入るダイジェスト
**記事作成に至った経緯**
私自身、プログラミング初心者でKaggleもこれから参加していく様なアマチュアです。
私が躓いた部分を記事として共有する事で、同じ様な状況の方の役にたてればと思い記事にしていく予定です。**この記事の対象者**
・Kaggleをやってみたいが何から始めたらいいか分からない方
・自分が探したい記事を探すのが面倒な方**記事ダイジェスト**
※今後、ここに記事のリンクを貼っていく予定です。
pythonで正しく除算の切り捨て、切り上げを行う方法
# はじめに
この記事は、[一関高専Advent Calender2023 25日目](https://qiita.com/advent-calendar/2023/inct-calender)の記事です。こんにちは。
最近競技プログラミングをやり始めたのですが、今まで特に気にしていなかった計算量や低レイヤ－での実装なんかも気にする必要があって、大変ですが、とてもいい勉強になります。
今回はそんな中でも私が苦しめられた、pythonでの除算の切り上げ切り捨ての書き方について書いていきたいと思います。
ちなみにここで言う切り上げ切り捨てはそれぞれ以下のことを指します。
– 切り上げ: 正の無限大への丸め
– 切り捨て: 負の無限大への丸め# 目次
1. [結論](#Chapter1)
1. [何が問題？](#Chapter2)
1. [考え方](#Chapter3)
The ‘pathlib’ package is an obsolete backport of a standard library ・・・
# エラー状況
Anaconda Promptで以下のコマンドを実行し、Pythonによるデスクトップアプリケーションを実行形式のファイル（拡張子.exe）に変換しようと試みた。
“`:Anacona Prompt
$conda install -c conda-forge pyinstalle
$pyinstaller Editor.py –noconsole –onefile
“`
すると、以下のようなエラーが返ってきた。
“`
The ‘pathlib’ package is an obsolete backport of a standard library package and is incompatible with PyInstaller.
Please remove this package (located in C:\Users\user\anaconda3\Lib\site-packages) using conda remove
then try again.
“`
Pythonに付随するpathlibパッケージが古すぎる（Pythonの標準ライ
リフレッシュして、perl と python を楽しもう。
私は、たまーに、頭をクリーニングするのに、音楽をききます。始まりは、μ’s(ミューズ)で、スクールアイドルシリーズの礎を築いた、現在まで続くアイドルグループの創設者であります。
よく聞くスタート・ミュージックが輝夜の城で踊りたい(μ’s)で始まります。
https://music.youtube.com/watch?v=VTKMRBPCut0&list=RDAMVMVTKMRBPCut0
(YouTube music)
このシリーズ初代には、
https://music.youtube.com/watch?v=yCz_vEmTHFQ&list=RDAMVMVTKMRBPCut0
の理解
## 本記事について
本記事は音響工学に関する以下参照書籍について勉強中のなか、自身の理解の定着のために記したものです。シミュレーションプログラムは参考書籍同等の部分については記載を省略しているため、本記事掲載部分のみでは動作しない場合があります。技術内容については参考書籍その他書籍やネット検索等々で調べておりますが、それを誤った解釈をして記載している可能性がありますのでご注意ください。(指摘頂けると助かります。)
#### 参考書籍
戸上真人.「Pythonで学ぶ音源分離」インプレス.2020年## 最小分散法(MVDR)のフィルタ係数
時刻$t$で扱う信号の短時間フーリエ変換によりフレーム$l$と周波数$k$で表された信号で考える。
マイクロホンアレイでの受信信号$x(l,k)$が、音源信号$s(l,k)$にステアリングベクトル$a(k)$(音源からマイクロホンアレイまでの伝達特性)をかけたものと雑音信号$n(l,k)$が加算されたモデルとする。音源分離後の推定信号$\hat{s(l,k)}$は分離フィルタ$w(k)$を用いて以下のような式で表される。
“`math
非情報系院生が９ヶ月間”復習特化”でAtCoder水色を達成した話
# 初めに
初めまして、塚っちゃん（Hiro_Gt）と申します。
この度、AtCoderに取り組み始めて**９ヶ月で水色**を達成しました。私は非情報系院生ですが、復習に特化して競プロの勉強を進めていた為、比較的早い期間で水色を達成できたと考えています。
そこで本色変記事では、**具体的にどう復習したかに重点を置いて**水色到達までを振り返ろうと思います。
この記事がどなたかの参考になれば幸いです。
# 自己紹介
– 非情報系大学院
– 具体的には物理学を専攻していました
– AtCoder開始時のプログラミング経験：半年
– 卒業研究で物理実験のデータを解析する際にpythonを使用していた程度です。具体的にはfor,
M1 macbook nativeでRos2 humbleは動きます！
備忘録としてROS2humbleのconda環境での構築をします。
直接ビルドするより動きます。だいぶ楽です。
こちらを使ってGazebo ClassicとNavigation2とslam_toolboxが入れられます。
環境
MacBook air m1 (2020) RAM 8GB
MacOS 14.2 Sonoma
twitterでTaigaさんがやってらっしゃっているros2_m1_nativeがありますが、そちらではなく、conda仮想環境で構築できるros2環境がありましたので共有します。
興味がある方はぜひこちらのビルドチャレンジもしてみてください！https://github.com/TakanoTaiga/ros2_m1_native
Condaを使用してのROS2humbleの元ソースはこちらです。
こちらの記事の流れは
* brew導入
* Miniconda導入
* conda環境のセットアップ
* 必要パッケージの導入
* 注意点
となっております。
