- 1. zshでpyenvをインストールする
- 2. 大学で企業のセキュリティの研究をやってた話
- 3. 2022年のプロ野球ホームラン王を予測してみた
- 4. [py2rb] namedtuple
- 5. ルイズコピペをPythonで曲にする
- 6. AWS費用監視ツール(後編:Lambda活用)
- 7. Pythonでサンキーダイアグラム実装してみる
- 8. OpenCV でリアルタイム生成した画像を可変フレームレート動画として保存する
- 9. DLP APIを使ってCSVデータの機密情報をマスキングする方法
- 10. Python WSGIでマルチバイト文字が含まれるURLをリダイレクトしたらエラーが出る
- 11. Pythonの”==”演算子と”is”演算子の違いについて
- 12. 乗換検索はPythonで自作できる
- 13. OpenCVで画像に文字を描画してみた
- 14. Playwrightを使ってServiceNowインスタンスを自動で叩き起こす
- 15. Discordの通知をすべてDiscordで通知するBOT
- 16. これからrakuten_rss(Python用の楽天RSSを使うためのモジュール)を使おうとしている人へ。
- 17. 学生証で研究室入退室報告SlackBot with ラズパイ
- 18. エンジニアの見られやすいレジュメのトピックの傾向を探る
- 19. Pythonでニュースをクローリング
- 20. 【Python版】AtCoder を始めた方必見！とりあえず見てください！
zshでpyenvをインストールする
## 概要
zshを使用した際にpyenv導入でwhich pythonが/usr/bin/pythonを参照してしまってつまづいたので、解決方法をメモ## 解決方法
以下のパスを通してシェルを再起動“`
$ echo ‘eval “$(pyenv init –path)”‘ >> ~/.zprofile
$ echo ‘eval “$(pyenv init -)”‘ >> ~/.zshrc
“`## 環境
– MacbookPro 16インチ 2021年モデル
– macOS Monterey
– Shell：zsh## インストールの流れ
### インストール前の状態
“`
$ python –version
Python 2.7.10
“`### Homebrewでpyenvをインストール
“`
$ brew update
$ brew install pyenv
“`
### pyenvでPythonをインストール
インストールできるバージョンの確認“`
$ pyenv install –list
“`インストールするバージョン
大学で企業のセキュリティの研究をやってた話
「Applibot Advent Calendar 2021」 17日目の記事になります。
前日は @MuuSan さんの[チームビルディングはぬるくない](https://qiita.com/MuuSan/items/81f379a8a2506522a4d2)という記事でした!# 1. はじめに
皆様こんにちは。アプリボットのサーバサイドエンジニアをやっているノディです！
気づけば12月、新たな環境に身を置き、日々様々なインプット・アウトプットに取り組んでいます。
今年のアドカレでは、昨年までの整理という意味を込め、**大学でついこの前の3月まで取り組んでいた研究** について書きます。どんな研究をしていたかを掘り下げて詳細に書こうと思いましたが、今回は研究内容だけでなく、研究の中で作ったプログラムや環境についても簡単に触れてみようと思います。
研究の詳しい内容については、末尾にあるリンクから論文を読んでもらうか直接アタックしに来てください！# 2. 研究の概要
## 背景
大学の研究室では**『企業のセキュリティ』** という、今の仕事であるIT業界に近しい分野に関わ
2022年のプロ野球ホームラン王を予測してみた
# はじめに
この記事は、ABEJA Advent Calendar 2021の16日目の記事です。みなさんこんにちは！
ABEJAに2021年に入社した松村です。広島からフルリモートで働いてます。
学生時代からスポーツ系のデータ分析に興味を持っており、将来はカープの球団職員になりたいと真剣に思っていた時期もありました。
先日シーズンが終わったばかりではありますが、2022年のプロ野球のホームラン王は誰になるのか予測してみました。# 前提
とりあえずAIに予測させてみよう！なぜそう予測したのかはわからないけどAIがそう言ってるし、〇〇がホームラン王になるに違いない！
これだと面白くないので、ある程度予測結果に対してなぜそう予測をしたのか後から人間が解釈ができるような手法で進めることにします。
具体的には、下記の方針で予測を実施することにします。– 結果が完全にブラックボックスになってしまうようなモデルは使わない
– 直感的に意味のわからない特徴量は使わない予測結果の解釈の手段としては、SHAP([こちら](https://qiita.com/shin_mura/item
[py2rb] namedtuple
# はじめに
移植やってます。
# namedtuple (Python)
“`python
Protein = namedtuple(‘Protein’, (‘description’, ‘sequence’))
“`
https://www.shoeisha.co.jp/book/detail/9784798163642**独習Python**では、辞書やクラスでも代替できると書いてあります。
# Struct (Ruby)
“`ruby
Protein = Struct.new(:Protein, :description, :sequence)
p1 = Protein.new(‘abc’, ‘setumei’, ‘ATGC’)
puts p1.description
“`
https://qiita.com/jnchito/items/fb4ed2238ee3404b4403**【初心者向け】順番に意味がある配列はハッシュに置き換えよう**に親切な解説があります。
ただし今回は、これだとp1.p2…p99とか大量発生しそうな気も
# Hash (Ruby
ルイズコピペをPythonで曲にする
# ルイズコピペとは？
>あぁああああ…ああ…あっあっー！あぁああああああ！！！ルイズルイズルイズぅううぁわぁああああ！！！
あぁクンカクンカ！クンカクンカ！スーハースーハー！スーハースーハー！いい匂いだなぁ…くんくん
んはぁっ！ルイズ・フランソワーズたんの桃色ブロンドの髪をクンカクンカしたいお！クンカクンカ！あぁあ！！
間違えた！モフモフしたいお！モフモフ！モフモフ！髪髪モフモフ！カリカリモフモフ…きゅんきゅんきゅい！！
小説12巻のルイズたんかわいかったよぅ！！あぁぁああ…あああ…あっあぁああああ！！ふぁぁあああんんっ！！
アニメ2期放送されて良かったねルイズたん！あぁあああああ！かわいい！ルイズたん！かわいい！あっああぁああ！
コミック2巻も発売されて嬉し…いやぁああああああ！！！にゃああああああああん！！ぎゃああああああああ！！
ぐあああああああああああ！！！コミックなんて現実じゃない！！！！あ…小説もアニメもよく考えたら…
ル イ ズ ち ゃ ん は 現実 じ ゃ な い？にゃあああああああああああああん！！うぁああああああああああ！！
そんなぁああああああ！！いやぁぁぁあ
AWS費用監視ツール(後編:Lambda活用)
# 1. はじめに
前回の記事では、AWS マネジメントコンソールと、AWS CLIによる費用確認方法を紹介しました。今回は、プログラミングによるREST API操作と、Lambdaへのデプロイについて解説します。– AWS費用監視ツール(前編:AWS マネジメントコンソール&AWS CLI)
– AWS費用監視ツール(後編:Lambda活用) **← 本記事**本編は、次の2つの章立てになっています:
– 2章「プログラム(Python)による確認」
– AWS CLIに代わってプログラムからREST APIを操作します。ここではプログラミング言語としてPythonを使いましたが、(SDKがサポートされている)好きなプログラミング言語を使用できます(下記参照)。https://aws.amazon.com/jp/getting-started/tools-sdks/
– 3章「Lambdaへのデプロイ (AWS SAMフレームワーク)」
– 2章で作成したPythonのロジックをベースにLambdaに移植します。この章では、サーバレスフレームワークの
Pythonでサンキーダイアグラム実装してみる
こんにちは。データアナリストの@ry_4628です。
今回、Qiitaに初投稿ということでどうしようかと思ってましたが、こういうこともしているという紹介の意味も込めてサンキーダイアグラムの描画の実装について記述してみました。
## サンキーダイアグラムとは
サンキーダイアグラムとは、工程間の流量を表現するのに用いる図表で太さで流れの量を示しております。
[Wikipedia](https://ja.wikipedia.org/wiki/%E3%82%B5%E3%83%B3%E3%82%AD%E3%83%BC_%E3%83%80%E3%82%A4%E3%82%A2%E3%82%B0%E3%83%A9%E3%83%A
)
アプリやソーシャルゲームなどの分析に用いることも多く、どのような順番で行動しているか?どこで
OpenCV でリアルタイム生成した画像を可変フレームレート動画として保存する
本記事は [OpenCV Advent Calendar 2021](https://qiita.com/advent-calendar/2021/opencv) 第17日の記事です
—-
OpenCV で動画像処理をする典型的なパターンとして、(1) VideoCapture でウェブカメラなどから画像を取得 → (2)なんやかんやする → (3) VideoWriter で動画として保存、というやり方を取ることがよくありますが、この設計でよくぶつかる問題があります。
(1) のウェブカメラでは一定のフレームレートで取得することが出来たとしても、大抵の用途では (2) なんやかんやするの所で時間がかかる処理をするため、フレーム落ちすることがよくあります。また、かかる時間も一定ではないため (3) VideoWriter で設定する出力フレームレートを合わせないと、早送りしたようなおかしな動画になってしまいます。
結局何が問題かというと、VideoWriter はあまり機能が豊富でなく、固定フレームレートしかサポートしていないため、フレームレートを成り行きに合わせてくれないとい
DLP APIを使ってCSVデータの機密情報をマスキングする方法
# はじめに
こんにちは。
これは、[2021年 NI+C Advent Calendar](https://qiita.com/advent-calendar/2021/niandc_teamgcp) 17日目の記事です。2年以上前ですが、弊社のメンバーがBigQuery上のデータをCloud Data Loss Prevention(以下DLP)を利用してマスキングする方法について[ブログ](https://www.niandc.co.jp/sol/tech/date20190723_1790.php)を投稿しております。
しかし、そもそもクラウド上に個人情報をアップロードしたくないといった声もあるため、
今回はpythonでローカルのCSVデータをDLP APIを利用してマスキングする方法をご紹介したいと思います。# Cloud Data Loss Prevention(DLP)とは
簡単に説明すると、機密データの検出・マスキングを自動で行ってくれるサービスです。
今回のように文字列データはもちろん、Google Cloud StorageやBigQueryのデータもマ
Python WSGIでマルチバイト文字が含まれるURLをリダイレクトしたらエラーが出る
## はじめに
かなりニッチな状況に対応した内容です。
特別なテクニックじゃなく、ググってもなかなか見つけられなかったニッチな問題を、
もしかしたら困っているかもしれない人に向けて贈ります。アドベントカレンダーなのに？
僕も書き終わったときに、そう思いました。でも、書いちゃったので許してください## このエラーで困っている人の助けになりたくて
こんなエラーをWSGIを使ったWEBアプリで見かけたら、この記事でお助け出来る可能性大です。
さあ、僕と一緒に解決していきましょう！“`
File “/usr/lib/python3.X/wsgiref/handlers.py”, line 310, in finish_content
self.send_headers()
File “/usr/lib/python3.X/wsgiref/handlers.py”, line 333, in send_headers
self._write(bytes(self.headers))
File “/usr/lib/python3.X/wsgiref/hea
Pythonの”==”演算子と”is”演算子の違いについて
いつもは勉強したことのまとめ的な記事とかネタっぽい記事を書いている事が多いのですが、PythonのアドベントカレンダーっぽくPython言語の小ネタ的な事を記事にしてみようと思います。
## “==”演算子と”is”演算子の違い
具体的に2つの違いとしては
・”==”演算子はオブジェクトの**同等性**をチェックするもの
・”is”演算子はオブジェクトの**同一性**をチェックするもの
です。ここから先はコードで実際に示した方が分かりやすいので、コードに移ります。Pythonのインタプリタモードを使って説明します。
まずは変数list_aというリストを作って、そのlist_aを指す変数list_bを作ります。
“`
>>> list_a = [0, 1, 2, 3]
>>> list_b = list_a
“`当然、中身を見ても全く同じものが入っています。
“`
>>> list_a
[0, 1, 2, 3]
>>> list_b
[0, 1, 2, 3]
“`list_a, list_bを”==”演算子と”is”演算子を使って比較すると
乗換検索はPythonで自作できる
これはNTTドコモ R＆D Advent Calendar 2021の17日目の記事です。
# 概要
乗換検索のサービスは世の中に数多くあって、どれもとても良くできていますね。
一方で、最短経路とか最安経路とか、すでに決められている基準以外の検索をするには、やっぱり自作するしかありません。
ということで、自作の乗換検索アルゴリズムをPythonで実装してみました。# 誰か既にやっているのでは
これを作ろうとしたとき、すでに誰かが作っていて記事化していると思って探しました。– [乗換案内をPythonで作ろう！最短経路探索アルゴリズムのUI実装](https://note.com/skfintech/n/nad0baf671056)
なるほど、もうUI化までされていましたか。
ただしこちらの記事では、↓のような駅間の接続と長さを表す隣接行列がすでに用意されています。
|発駅＼着駅|米花|古糸|奥穂|鳥矢|・・・|
|:-:|:-:|:-:|:-:|:-:|:-:|
|米花||0.8||||
|古糸|0.8||1.0|||
|奥穂||1.0||1.2||
|鳥矢|||1.2
OpenCVで画像に文字を描画してみた
# はじめに
こんにちは！
[MYJLab Advent Calendar 2021](https://qiita.com/advent-calendar/2021/myjlab)の17日目は私が担当します。宜しくお願いします！
昨日は、@chiba___さんの[Google Colab と Turtle で描くアルファベット一覧（小文字編）](https://qiita.com/chiba___/items/671de84c1ce47965effd)でした。Google Colaboratoryを用いた、タートルグラフィックスでのアルファベット（小文字）の描き方をわかりやすくまとめてくださっています。
とっても楽しい内容なので、是非[大文字編](https://qiita.com/chiba___/items/fae8271cad6b9d2604fd)と合わせてご覧ください！# OpenCVとは
Intelによって開発された、オープンソースのコンピュータビジョンライブラリです。
画像や動画の読み込み・画像処理・物体認識・機械学習など、コンピュータで画像や動画を処理するために必要な
Playwrightを使ってServiceNowインスタンスを自動で叩き起こす
業務の中でServiceNow開発者インスタンスを利用する方はそれなりにいらっしゃいますよね。
そんな皆様が日々「嫌だなー」と感じることは大きく分けて以下の２つがあると思います。– ServiceNow開発者インスタンスは起動時間がそこそこかかる
– ServiceNow開発者インスタンスは10日間使われていないと削除されるそこで今回は、いつでも自分が使いたいタイミングでServiceNow開発者インスタンスを使えるようにするために、月曜〜金曜の朝5時に自動的にServiceNow開発者インスタンスを起こす仕組みを作成していきましょう。
# 筆者の環境
– macOS Monterey 12.0.1
– Docker Desktop for Mac 4.1.0# ディレクトリ構造
“`
.
├── Dockerfile # コンテナイメージを管理するためのファイル
├── docker-compose.yml # アプリケーションを定義するためのファイル
├── snow.py # ServiceNow開発者インスタ
Discordの通知をすべてDiscordで通知するBOT
[クソアプリ Advent Calendar 2021](https://qiita.com/advent-calendar/2021/kuso-app) 17日目の記事です。
# 初めに
どうも、最近Javascriptばっか使ってて、Pythonを忘れかけてる人です。この記事では、pycordというPythonのライブラリを使ってDiscord botを使ったので、その紹介をしていきます。
# 作ったBOT紹介
Discordの通知をDiscordでします。
送信されたもの、すべてが通知され
これからrakuten_rss(Python用の楽天RSSを使うためのモジュール)を使おうとしている人へ。
#楽天RSSとは？
RSS(RealTime Spread Sheet)とは、投資情報を、特殊な関数（RSS関数）を使ってExcelから利用できる機能です。取得した情報はExcel上で自由に編集することが可能なため、お客様が見たい情報だけにフォーカスしたモニターツールが作成できます。またヒストリカル情報やテクニカル指標などを使ってオリジナル指標を作成したり、リアルタイム情報を使った発注もできるようになります。
要は株価ファイナンスのデータサイエンス用に使うネットワークツールです。
# まず必要なもの
チャートや板を見るためには、Market SpeedⅡにログインする必要がある。
Market SpeedⅡにログインするには、楽天証券の口座を開設する必要がある。
楽天証券の口座を開設するにはマイナンバー情報さえあれば無料で開設できる。
# プログラミング言語
エクセルデータを扱うのはVBA、といったところでしょうが、私は良く知らない。ちょっととっつきにくくない？という印象。
そこで別言語を検討。一番メジャーでjupyter notebook上で実行しやすく、予約語
学生証で研究室入退室報告SlackBot with ラズパイ
この記事は[Raspberry Pi Advent Calendar 2021](https://qiita.com/advent-calendar/2021/raspberrypi) 17日目の記事です。
## 作ったもの
研究室の入退室を報告するSlack Botを作りました。
iPadで入室/退室を選択してカードリーダに学生証をタッチすると、Slackのチャンネルでメンション共に入退室が報告されます。@tos pic.twitter.com/j0f7gSlIKO
— さくあ@思いつきぶん投げ(?) (@sakua_create) エンジニアの見られやすいレジュメのトピックの傾向を探る
## はじめに
ITエンジニア向け転職サイト転職ドラフトでプロダクトマネージャーをしている、koseiKGです。
プロダクト企画や審査体験の改善などなどを行なっています。これまでに約5000人のエンジニアのレジュメを見てきた中で、
”実力が伝わり指名をもらいやすいレジュメ”
というのもある程度パターンがあります。そんなパターンをトピックモデルを用いて紹介します
## 前提
文書が複数の潜在的なトピックから確率的に生成されると仮定したモデルをトピックモデルとする
これを用いる理由は、転職ドラフトのレジュメはフォーマット化されていないフリースタイル形式であり、潜在的な意味は三者三様。
もちろん、指名数が集まる理由はレジュメ以外に当然あるが、CTO経験などは極小なために排除できるものとする。## 結果
指名数上位は極端に、”チームでの開発経験”、”設計や要件定義”、”フルスタックで業務、役割を横断する”などチームでの開発経験や、BE,FE,インフラの知識を活かした開発経験での貢献などをレジュメに積極的に盛り込んでいる傾向。
一方で、下位となるとチームでの開発経験に触れるケースはPythonでニュースをクローリング
## はじめに
どうも、こんにちは。今回はPythonでニュース記事をクローリングする方法について、簡単に書いていこうかなと思います。というのも、このクローリング部分が、私が現在大学で携わっているチーム開発での担当箇所なんですよね。
来年チームに参加してくれるであろう後輩たちのためにも、仕様書っぽいものを何か残しておいた方がいいだろうということで、書くことにしました。
業務未経験の大学生が、大学生に対して書いているものなので、温かい目で見てもらえれば幸いです(笑)## プログラムの概要
今回、私が書いたプログラムは、ニュース記事をネット上から取得して、それをjson形式に変換してフォルダに格納するというものです。
ニュース記事を拾ってくる部分と、記事をjson形式に変換する部分でコードを分けたので、一つずつ解説していきます。## ニュース記事を取得するプログラム
“`
import feedparser# ニュース記事のデータを取得するためのクラス
class CrawlingNews:def __init__(self, rss_url):
【Python版】AtCoder を始めた方必見！とりあえず見てください！
#1. はじめに
みなさんはじめまして！
競技プログラミングにハマっている [Ryusuke](https://qiita.com/ryusuke920) と申します。
本日は @kanten4205 さんが作成した [競プロアドベントカレンダー2021](https://adventar.org/calendars/6713) にて競技プログラミングの記事を書くことになったので、投稿しました。**Python & AtCoder & 始めたばかり**
この3つにマッチする方は**絶対に**読んでください！！
この記事を読んでいただければ必ず何かを得られると思います！
##1-1. 自己紹介
まずは私の自己紹介をしたいと思います。所属：公立はこだて未来大学システム情報科学部 B3
趣味：競技プログラミング、バスケットボール、ピアノ、競技数学AtCoder：https://atcoder.jp/users/ryusuke_h
Twitter：https://twitter.com/ryusuke__h
GitHub：https://github.com/ryusuke9
