- 1. Pythonだけでクロスプラットフォームなアプリを作れるFletについて
- 2. Glue(JupterNotebook)でモジュールを使う
- 3. AtCoder茶色になったぜ
- 4. 本州のJR2駅間での最長片道切符をGraphillionを使って求める
- 5. Youtubeで音楽を聴いているときに出てくる「動画が一時停止されました。」を駆逐する
- 6. ABC284 F – ABCBAC ローリングハッシュ解法
- 7. ABC284-F ABCBAC (Python)
- 8. “500 : Internal Server Error” >> shell Djangoはzsh、JupyterNotebookはbashで動く
- 9. GPT-3で漫画タイトル生成
- 10. ロググループに保存されているログを定期的にS3にエクスポートしてみた。
- 11. 世界最高精度の言語モデルLUKEをファインチューニングして公開してみた(Question-Answering, SQuAD)
- 12. maya Cannot find procedure “CgAbBlastPanelOptChangeCallback
- 13. model.state_dict()でRuntimeError: CUDA error: out of memory が発生した時の解決方法
- 14. Python向けのMakefile的なビルドツール「JTCMake」を作った話
- 15. streamlit上で化学構造式を一覧で表示する方法
- 16. Pythonを改めてちゃんと学ぶメモ #6
- 17. 文字列のパスワード強度を数値化する
- 18. 【時系列分析/Python】statsmodelsライブラリのDeterministicProcess関数を使用して、売上予測をする。
- 19. 【医薬品業界】MF公示からデータ分析した件
- 20. ベイズ機械学習における学習による事後分布の推移 ~Bernoulli分布、Categorical分布、Poisson分布~
Pythonだけでクロスプラットフォームなアプリを作れるFletについて
# はじめに
Python だけでクロスプラットフォームなアプリを作ることが出来る、[Flet](https://flet.dev/) というフレームワークについての記事です。
Pythonだけで次のようなWeb・デスクトップに両対応したアプリを作ることが出来ます。
![trolli-app.gif](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1224564/c1d7acb3-6c17-4523-155d-f402fe2dd9f9.gif)
![todo-complete-demo-web.gif](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1224564/e4b2fd54-ece1-372c-d21a-899082557564.gif)## Flet の概要
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1224564
Glue(JupterNotebook)でモジュールを使う
# はじめに
Jupyter Nootebookで開発できるようになったGlueがとても便利になったため、最近よく触っています。
今回はモジュールを使う方法について記事にしました。
– デフォルトで入っているモジュールは何か
– 入っていないモジュールを扱うにはどうすればいいのか
– インタラクティブセッションで(でも)扱う方法# デフォルトで入っているモジュール
以下のコマンドで確認できます。
“`
!pip3 list
“`numpyやpandasなど、よく使うものは入っています。
クリックで表示
“`
Package Version
——————– ———–
anyio 3.6.2
argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0
attrs 22.1.0
autovizwidgetAtCoder茶色になったぜ
中学1年生、ついにAtCoder茶色になりました。
https://atcoder.jp/users/hiroyuk1## 何を頑張ったか
ABC279で、D問題に数学の問題が来てよっしゃーと思った。それでレーティングは茶色目前の393まで一気に上がった。
次のABC283では、今度こそ茶色いけるかなーと思ったけど、D問題が解けなくていけなかった。
そして今回、ABC284で、AとBはすぐ解けて、Cはいったん置いといてDを解いた。数学が得意だから、すぐやってみたけど、1回TLE。その後N=p²qという条件を見て書き直して、AC。(ここまではPython)
C問題はグラフで、しかもよくあるやつだったから得意な深さ優先探索で解いた。(AtCoderが1-indexedだったのを忘れて3回RE)E問題はちょっと考えたけど深さ優先探索で、通った頂点を記録するという感じで解いた。その日はアルゴ式をめちゃくちゃやって、更新されるやつ以外はコンプリートした。(https://algo-method.com/users/9298-5737 )それでグラフに強くなったからCとEを解けた。あとは
本州のJR2駅間での最長片道切符をGraphillionを使って求める
# 目的
近くにある2つの駅をできる限り遠回りして行ったらどのくらいの距離になるのかがふと疑問になったので,それを調べるためにつくります.このように最長切符を求める試みがいくつか見つかったのでそれらを参考にさせていただきました.ルートを探す際のルールは一筆書きで,JRの在来線のみです.
複雑なグラフから一筆書きの経路を探索するという問題は非常に複雑(以下のフカシギの数え方参照)なのでこれを効率的に探索できるGraphillion( https://github.com/takemaru/graphillion )を使いました.ABC284 F – ABCBAC ローリングハッシュ解法
# はじめに
見た瞬間に「あ、ローリングハッシュだ」と思ったものの、「実装どうするんだっけ…」で1時間椅子を温めました。ライブラリ貼り付けで済むならまだしも、ちょっといじろうとすると手になじませる必要がありそうなので、記事にしつつ理解を深めようと思います。
## 問題
https://atcoder.jp/contests/abc284/tasks/abc284_f
## ACコード
https://atcoder.jp/contests/abc284/submissions/37856468
## 前提知識
ローリングハッシュ
https://qiita.com/hirominn/items/80464ee381c8d400725f## 考察
さて、本問題ではTには左の文字列・真ん中の文字列(以下M)・右の文字列の3つの文字列が存在していますが、
左の文字列と右の文字列を結合した文字列(以下X)と、Mが一致するものが存在するかを問われている問題です。愚直にやるのであれば、分割位置をずらしながら確認していくことになりますが、
1回ずらすごとに生成された長さNABC284-F ABCBAC (Python)
# 問題
https://atcoder.jp/contests/abc284/tasks/abc284_f## 解き方
ローリングハッシュ。
クラス化したものを自分で持っとくとラクそう。あとでやろ。
ローリングハッシュの説明自体は、他の記事だったり本だったりにおまかせします。### 具体的な方法
入力例1の「abcbac」でやってみます。
最初は、左半分の「abc」と、右半分を反転させた「cab」が一致してるかどうかを見る。
ここからローリングします。i(1≦i≦N)回目の操作では、
・左半分の「abc」→ 右からi番目の文字を消す「ab」→さっき消した位置に今度は元の文字列の右からi番目の文字を挿入する「abc」
・右半分を反転させた「cab」→ 先頭の文字を消す「ab」→末尾に元の文字列のN-i+1文字目を挿入する「abc」
のように文字列を動かして、同じかどうか判定します。
細かいことはコードを見てください。## ACコード
“`python
import randomN = int(input())
T = input()# hash_dic[(英小文
“500 : Internal Server Error” >> shell Djangoはzsh、JupyterNotebookはbashで動く
今日は初めてdjangoにトライした訳だが、djangoを使用した後に、
JupyterNotebookを開こうとしたら、notebookが開けない!
“500 : Internal Server Error”と表示されてしまった。俺の今までの努力が全てパーになったかと思ったけど、
ネット様で調べたら、
- pip install –upgrade jupyterhub
- pip install –upgrade –user nbconvert
をterminalに叩き込めば良きとのこと。JupyterNotebookを再起動したら治った。
まじよかったーー。GPT-3で漫画タイトル生成
**工事中**
## 目次
1. GPT-3のapi利用申請
1. アカウント作成
1. APIキーの取得
1. ***
2. 環境
1. ***
3. アプリ案
1. あらすじから生成
1. 画像から生成
1. ジャンルから生成
4. デザイン
1. イメージ
1. コード
1. ***## 3.アプリ案
### あらすじから生成
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3092463/8a8e9406-f650-6104-429f-8786f94a20c8.png)
↑イメージ図。
最近ジャンププラスで読んだ読切です。(斬新、控えめに言って最高だった)
引用:こちら(https://shonenjumpplus.com/episode/316190247056444405)![image.png](https://qiita-image-store.s3.ap-northeast
ロググループに保存されているログを定期的にS3にエクスポートしてみた。
# はじめに
こんにちは、山田です。
現在携わっている案件で、CloudWatchロググループに保存されているログを一定期間経過後に長期保管用に作成したS3バケットにエクスポートするコードを作成したので以下に記載していきます。
よろしくお願いいたします。
# 全体概要図
全体概要図は以下の通りです。
![](https://storage.googleapis.com/zenn-user-upload/e34fe2b9e3ac-20230107.png)
**①:ロググループ一覧とS3フォルダ一覧を比較します。
②:比較した結果S3フォルダに名前がないもの似関しては、新規でS3フォルダを作成します。
![](https://storage.googleapis.com/zenn-user-upload/f3cc42e21f43-20230107.png)
③:ロググループに保存されているログをS3にエクスポートします。**
# コード
以下が今回作成したコードは以下になります。
“`python
import boto3
import datetime
import timede
世界最高精度の言語モデルLUKEをファインチューニングして公開してみた(Question-Answering, SQuAD)
こんにちにゃんです。
水色桜(みずいろさくら)です。
今回は現在(2023年1月)、世界最高精度を有している言語モデルであるLUKEをファインチューニングして、Question-Answeringタスク(SQuAD、狭義の質問応答)を行ってみようと思います。
作成したモデルは[こちらのサイト](https://huggingface.co/Mizuiro-sakura/luke-japanese-finetuned-question-answering)で公開していますので、もしよろしければ使ってみてください。
今回も初心者でもたった**2ステップ**(ステップ1:モデルのダウンロード、ステップ2:コードのコピペ)で簡単に使えるようにしてあります。
このモデルを使えばチャットボットなども作成することが可能です。https://huggingface.co/Mizuiro-sakura/luke-japanese-finetuned-question-answering
# 環境
torch 1.12.1
transformers 4.24.0
Python 3.9.13**t
maya Cannot find procedure “CgAbBlastPanelOptChangeCallback
“`python
import pymel.core as pm
def cleanupPanelCallback():
for item in pm.lsUI(editors=True):
if type(item) == pm.ui.ModelEditor:
pm.modelEditor(item, e=True, ec=”)
cleanupPanelCallback()
“`model.state_dict()でRuntimeError: CUDA error: out of memory が発生した時の解決方法
## 背景
0番のGPUで学習し保存したモデルを1番のGPU上でロードしようとしたところ、以下のようにエラーが発生した。“`python:
import torchmodel.state_dict(torch.load(“model.pth”)[“state_dict”])
# RuntimeError: CUDA error: out of memory“`
## エラーの原因
どうやらtorch.load()はデフォルトで、モデルを保存した際にモデルが存在していたメモリ上で、モデルのロードを行う設定になっているらしい。自分の例で言うと、0番のGPU上のモデルを”model.pth”に保存したため、torch.load(“model.pth”)を行うと、0番のGPU上でモデルのロードが行なわれていた。
0番のGPUは他のモデルの学習中でメモリが占有されていたため、モデルをロードすることができずに、out of memory のエラーを吐いたわけである。## 解決方法
### 方法1
torch.load()のパラメータmap_locationで、モデPython向けのMakefile的なビルドツール「JTCMake」を作った話
# はじめに
俺は非IT系のJapanese Traditional big Companyでエンジニアをしている。
業務で遭遇した課題にインスパイアされてJTCMakeという汎用的なビルドツールを2022年の7月頃からプライベートで開発してきた。そろそろ安定してきたので宣伝させてほしい。– [Github](https://github.com/sugi-a/jtcmake)
– [使い方](https://sugi-a.github.io/jtcmake/index.html)
– [PyPI](https://pypi.org/project/jtcmake/)# 機能概要
JTCMakeは構造的タスク管理および差分ビルドのためのツールである。当初想定していた用途は機械学習パイプラインの管理だが、より一般にファイル生成タスクの自動化に使うことができる。
基本的な機能はMakefileのようにファイル作成のルールの集合を定義して差分ビルドをすることだが、さらに以下のような特徴がある。
1. 入力ファイルの内容にもとづいてタスクの実行要否を判定可能(入出力ファイルのタ
streamlit上で化学構造式を一覧で表示する方法
# はじめに
streamlit上で分子の描画に困ることがあります。
今回利用する`mols2grid`というライブラリを利用するとsmiles記法による分子の構造式を描画することが可能です。
[こちら](https://github.com/cbouy/mols2grid)にgithubリンクを張っています。# 環境
* python3.9.16
* rdkit 2022.9.3
* streamlit 1.12
* mols2grid 1.1.0# コード中身
“`python:app.py
import mols2grid
import pandas as pd
import streamlit as st
import streamlit.components.v1 as components#アプリタイトル
st.title(“分子構造描画アプリ”)# smilesのカラムを含むデータフレームを作成。今回はQM9のデータの一部を利用
df_qm9 = pd.read_excel(“qm9.xlsx”)# streamlit上に表示
st.write(dfPythonを改めてちゃんと学ぶメモ #6
# はじめに
ここは、Pythonを改めて学んでいるメモを都度書き出していきます。
※ 筆者のバックグラウンドは#1をご覧ください。1. https://qiita.com/hideh_hash_845/items/58241f0ce0283e457a87
1. https://qiita.com/hideh_hash_845/items/56c7a2c5594261f380b2
1. https://qiita.com/hideh_hash_845/items/b5e2264fc650c3e9d4b6
1. https://qiita.com/hideh_hash_845/items/6ebfcbf1682dcc696b76
1. https://qiita.com/hideh_hash_845/items/7b4aeb514f9eb199e9c2# pandas
– 行・列の形式のデータを効率的に処理する機能を収録したライブラリ
– pandasをインポートする時は、慣例として`pd`という名前にする
~~~
import pandas as pd
~~~## Ser
文字列のパスワード強度を数値化する
# 文字列のパスワード強度を数値化する
ある文字列がパスワードとしての強度がどのくらいか数値化します、本ロジックで言う強度とは”既存の英単語とは似ていない”度合いの事とします
例えば以下について考えますcompliance(既存の英単語)
ccopilnmea(compliance をランダムに並べ替えた文字列)
dmsfyqex(ランダムな文字列)これらの文字列のパスワード強度を考えた時に
dmsfyqex > ccopilnmea > compliance
という大小関係になる数値が出せれば便利だと考えます、具体的にはパスワード入力画面で一定スコア以下だった場合に警告を出すという使い方を想定します。
今回解説するロジックにおいて以下のスコアが出ましたcompliance: score = 0.2868966957306085
ccopilnmea: score = 0.6242194273850281
dmsfyqex: score = 0.9749742578498471想定通りのスコアが出ています
# 単語構成文字列が含まれていたらスコアを低くする仕組み
【時系列分析/Python】statsmodelsライブラリのDeterministicProcess関数を使用して、売上予測をする。
# 今回の課題
Kaggleの[Trend](https://www.kaggle.com/code/ryanholbrook/trend)というチュートリアルでstatsmodelsライブラリを使用して、
未来の数値の予測が行われていた。そのチュートリアルを参考に、
前回投稿した下記の記事の、未来の売上予測を行いたかった。
https://qiita.com/Ayumu-y/items/a2f3f716706a6f34028b# statsmodelsライブラリとは
統計モデルを用いて推定や検定、探索ができるPythonライブラリ。
statsmodelsライブラリの中に`DeterministicProcess`関数があり、
この関数を使用することで未来の数値の予測ができる。※公式ドキュメントは[こちら](https://www.statsmodels.org/dev/generated/statsmodels.tsa.deterministic.DeterministicProcess.html)
# 使用したコードの解説
作成したコードが下記の通り。###
【医薬品業界】MF公示からデータ分析した件
# はじめに
この記事は医薬品業界の中でも後発医薬品 (ジェネリック)に関する記事です。
データ分析のアプローチとして、こんな方法もあるんだな程度で見ていただければと思います。# 目次
* 背景
* 目的
* 方法
* 結果・考察
* 所感
* 今後の予定# 背景
私はジェネリック医薬品企業に勤める者です。恥ずかしながら、競合他社がどこなのか把握していませんでした。
一方、PMDA (医薬品機構)はMF公示資料を月に2度更新しています ([リンク](https://www.pmda.go.jp/review-services/drug-reviews/master-files/0008.html))。MF (Master File)とは、医薬品の原薬 (有効成分)を製造する企業がPMDAに登録する製造方法のノウハウのことです。このMFを医薬品の製剤を製造する企業が参照することで、原薬製造企業はノウハウを開示することなく、医薬品が作ることができます。
つまり、このMF公示資料を分析すれば、競合他社を把握することができるのでは?と考えました。# 目的
以下2つのタスクを考えましベイズ機械学習における学習による事後分布の推移 ~Bernoulli分布、Categorical分布、Poisson分布~
# 1. はじめに
* 今回はベイズ機械学習における離散型確率分布の学習による事後分布の推移をPythonを用いて可視化していきます。
* また、数式的な理解だけでなく視覚的に理解することで次の章である混合モデルへ繋げていくことも目的としています。
* 途中式については長さの関係上省きますが、参考資料に載せてあるしょこさんという方が書かれている[**からっぽのしょこ**][link-1]というブログが個人的にとても分かりやすいと思うのでそちらを参照してください。
# 2. ベイズ機械学習における学習とは
ベイズ機械学習において学習とは、ある観測データが与えられたときにそのデータをもとにして
事前に設定しておいたパラメータの確率分布(事前分布)を真の確率分布に近づけていく過程のことを意味します。
また、学習によって更新された確率分布のことをPythonanimation初心者機械学習ベイズ推定関連する記事
OTHERカテゴリの最新記事
-
- 2024.09.19
JavaScript関連のことを調べてみた
-
- 2024.09.19
JAVA関連のことを調べてみた
-
- 2024.09.19
iOS関連のことを調べてみた
-
- 2024.09.19
Rails関連のことを調べてみた
-
- 2024.09.19
Lambda関連のことを調べてみた
-
- 2024.09.19
Python関連のことを調べてみた