- 1. 「画像をゴッホ画風に変換するWebアプリ」を1日でデプロイ
- 2. MoviePyを使ってPythonで動画編集をする
- 3. これからデータ分析するなら Data Science Virtual Machines が最高の環境！
- 4. 単純な画像ベイク機能をアドオンにしてみる
- 5. 散布図
- 6. [mac] pyenv+Jupyter-Lab環境にRをインストールする
- 7. キカガクで一番人気の『脱ブラックボックスコース』に完全版が登場＆全編無料で公開決定！の裏話
- 8. Wikipediaは書く時代から生み出す時代へ ~ Twitterからの自動生成
- 9. ４台クラスターで、高次方程式を解く I (重解なし)
- 10. Django ユーザー用のTOP画面の構築
- 11. 実行結果の出力先をモードレスウィンドウとして起動したVimにする
- 12. Python Conference 2020 アジア制覇した男がおすすめするPyCon発表動画12選
- 13. 嘘ニュースジェネレーターを作った話
- 14. PythonでParquetを扱う
- 15. 気象データが欲しくなって過去にスクレイピングで入手した話
- 16. LookerSDKを使ってローカル環境からSQLを実行してみた
- 17. JupyterLabお勧めExtension（拡張機能）
- 18. Pythonでtwitterでいいねしたツイートにある画像を収集するプログラムを作ってみた
- 19. オブジェクトストレージ Cloudian/S3 にJSON形式のデータを書き込みしてみます
- 20. [Python] 区間スケジューリング ABC103D
「画像をゴッホ画風に変換するWebアプリ」を1日でデプロイ
#はじめに
Azureクラウド上にFlaskとPytorchを使って、**「画像をゴッホ画風に変換するWebアプリ」**をデプロイしてみました。
Github上で公開されている機械学習モデルを利用したWebアプリを作成する際の参考として、環境構築からデプロイまでの手順と所要時間を紹介しようと思います。#完成品
**1. Webサイトを開いて処理したい画像を選択して送信すると、**
↓選択された画像
**2. ゴッホ画風に変換された画像が返ってきます。**
をまとめたものです。本格的にMoviePyを使いこなしたい人はおやつでもつまみながら**公式ドキュメント全体をじっくり読むことを強くおすすめします**。英語ですが、Google翻訳を使いつつ、難解な部分はDeepLを使用しながら読み進めば大丈夫なはずです。[Github](https://github.com/Zulko/moviepy)も読んでおくと良いかもしれません。この記事はとりあえず全体を理解したい、とにかく今すぐ使いたいという人向けです。誤り、情報の更新などがありましたら遠慮なくお教え下さい。#MoviePyとは？
Pythonで動画編集ができるライブラリです。Pythonでは他にも動画編集を行う手段があります。画像編集ライブラリopenCVをつかった手法、ffmpegをコマンドラインで操作する手法などです。場合によってはこれらを検討するのもアリです。
YouTubeにMoviePyで[具体的にどのようなことができるのかのサンプル
これからデータ分析するなら Data Science Virtual Machines が最高の環境！
この記事は、[求ム！Pythonを使ってAzureで開発する時のTips！【PR】日本マイクロソフト Advent Calendar 2020](https://qiita.com/advent-calendar/2020/azure-python) の 4 日目です（後から追っかけで書いています）。
—-
これからデータ分析するなら Data Science Virtual Machines が最高の環境！って話です。
## [Data Science Virtual Machines](https://azure.microsoft.com/ja-jp/services/virtual-machines/data-science-virtual-machines/?WT.mc_id=AZ-MVP-5001601) が最高の環境の理由は何があるんでしょうか？ 他じゃダメなんでしょうか？
その理由は以下になります。
* 問題
* 誰しもデータ分析に最適な環境を持っているわけではない
* データ分析に最適な環境を構築するのは大変（時間など）
* 解決策
単純な画像ベイク機能をアドオンにしてみる
Blender Advent Calendar 2020 の23日として投稿します。
https://qiita.com/advent-calendar/2020/blenderゲーム用モデルやVRchatアバターのテクスチャを作るのに
シェーダーで作ったテクスチャをベイクしたり UVを整理した画像にベイクしたいという用途があるのか
春頃からBlenderでのテクスチャのベイクに関する話題を見かけることが増えたように思います。私もとある仕事で ボタン一つ操作でベイク画像を用意する必要がある案件に遭遇したので
目的のベイク画像を作成するアドオンを作成しました。画像エディッタに表示しているイメージに、現在アクティブにしているUVを利用して
ディフューズカラーのをベイクします。“` py:ySympleBekeImage.py
import bpy
bl_info = {
“name”: “Simple Bake Image”,
“description”: “UVエディッタで表示中の画像にオブジェクトの色をベイク”,
“author”: “Yuki
散布図
# 量的変数と量的変数
## 二項目間の散布図
matplotlib
“`python
import matplotlib.pyplot as plt# columnsの２項目から散布図作成
plt.scatter(df[‘column1’], df[‘column2’])
# 横軸と縦軸のラベルを追加
plt.xlabel(‘column1’)
plt.ylabel(‘column2’)
plt.show()# column1とcolumn2の相関係数
print(df[[‘column1’, ‘column2’]].corr())
“`
seaborn
“`python
import seaborn as snssns.scatterplot(data=df, x=”column1″, y=”colu
[mac] pyenv+Jupyter-Lab環境にRをインストールする
## 目的
* pyenv環境で起動したJupyter Lab上で、Rを利用できるようにする
## 動作確認環境
* macOS Big Sur (version 11.1)
* Jupyter Core : 4.6.3
* Jupyter Lab : 2.2.8
* R : 4.0.3## 前提条件
* Jupyter, Jupyter Labがインストールされていること
## インストール手順
HomebrewでRをパッケージインストールします。
“`
% brew casc install r
“`インストール先のpyenv環境を有効化し、ターミナルからRのコンソールを起動します。
“`
% pyenv local testenv
(testenv) % R
—
R version 4.0.3 (2020-10-10) — “Bunny-Wunnies Freak Out”
Copyright (C) 2020 The R Foundation for Statistical Computing
Platform: x86_64-apple-d
キカガクで一番人気の『脱ブラックボックスコース』に完全版が登場＆全編無料で公開決定！の裏話
## はじめに
メリークリスマス！
株式会社キカガク 代表取締役の吉崎です。こうやって Qiita に記事を投稿するのがなんと『２年ぶり』です。
月日の流れは早いものです。では、さっそく本題から。
## みなさん、大変長らくお待たせしました！！！！！
2017 年に皆さんご存知の Udemy で公開以来、なんと Udemy だけでも 38,000人以上の方が受講してくださったキカガク流『脱ブラックボックスコース』。
微分から単回帰分析まで扱う初級編と、線形代数から重回帰分析まで扱う中級編まではスムーズにリリースしており、中級編の最後に『上級編も近々…』なんて言いつつ、大変申し訳ありません！…実は仕事をサボってました。
なんてことはないのですが、今回のコース紹介後に書く裏話にある葛藤があり、なかなかリリースができていませんでした。
そんな心苦しい思いは今日でおさらばです。
みなさん、大変お待たせしました。
キカガク『脱ブラックボックスコース』が確率統計とロジスティック回帰、そして、ディープラーニングの基礎となるニューラルネットワークの数学といま大注目の P
Wikipediaは書く時代から生み出す時代へ ~ Twitterからの自動生成
[Twi2Wiki](https://twi2wiki.herokuapp.com/)（ツイトゥーウィキ）は、2020年に藤田洸介（ふじた こうすけ）、田中利夫（たなか としお）、山本孔次郎（やまもと こうじろう）により開発されたWebアプリケーションである。[Twitter](https://ja.wikipedia.org/wiki/Twitter)のプロフィール情報から[ウィキペディア](https://ja.wikipedia.org/wiki/%E3%82%A6%E3%82%A3%E3%82%AD%E3%83%9A%E3%83%87%E3%82%A3%E3%82%A2)の記事ページ風の文章を生成する機能を有する。
[スマートフォン](https://ja.wikipedia.
４台クラスターで、高次方程式を解く I (重解なし)
前回、Raspberry Pi ４台のクラスターで単純ループの計算時間が1/4に短縮できる結果が得られました。この４台のクラスターで何か計算できないかと考えました。素数計算、multiprocessingなどと候補はあったのですが、高次方程式を解くことにしました。今まで高次方程式を解く時は、エクセルを使って散布図・折れ線グラフを描き、x軸付近をズームアップすることにより解を得ていました。Pythonに入門してプログラムで求めてみます。
方程式を解くならSciPyが最適だと知りました。NumPyとSciPyを追加インストールしました。ところがSciPyの使い方が分かりませんでした。結局、またPythonプログラムらしくない、Pythonプログラムを自分で作ることにしました。今回は１０次方程式を解きます。プログラム作成途上なので、重解の無い、因数分解の可能な式を使います。（有効数字と桁数の議論はあるようですが今回はふれません）下表に、今回作成した１０次方程式を解くプログラムの計算時間を示しました。
|機種|Raspberry Pi 4B|Raspberry Pi 4B|Raspberr
Django ユーザー用のTOP画面の構築
ログインした時に最初に表示されるページように、ログインユーザー用のページを作成しました。
本番稼働にしていくにあたり、
「スケジュールを確認できる」
「ToDoを利用する」この2点で開始することになりました。
なかなか、現在で何とか仕事が回っているので利用開始するにあたり、コンサル的にかかわっていく必要があるように感じます。ＩＴって非ＩＴの人にとっては、知らないものなので0から1にするには、サポートがかなり必要だということを感じました
では、Ｔｏｐ画面
左に本人の1週間のシフト予定と右にToDoを表示するようにしました。
一部のプログラムはコメントアウトして動作しないようにしていますが、掲示板も表示されるように運用でき始めたらオープンしていく予定です。
“`python:accounts.views
from djan
実行結果の出力先をモードレスウィンドウとして起動したVimにする
# はじめに
Vim上で起動した実行結果は、基本的にはウィンドウ分割された別のバッファに出力されるのですが、– ソースコード用の画面が狭くなる
– サブモニタに結果を出力したいという個人的な不満がありました。
そこで、あーIDEのようにfloating windowに結果を出せたらなあ、という事をふと考え、実装してみる事にしました。
どんな感じになるかは冒頭のデモ画面の通りです、Rustを[QuickRun](https://github.com/thinca/vim-quickrun)で実行し、本来バッファに出力される実行結果をPythonサーバー経由で別のVimに送信し出力しています。と[【2019年度】進撃の壁外調査結果報告@新宿カレー区](https://qiita.com/tetsuya0617/items/5ada9d22b7e1d2ccaed9)の記事を書いてきました。
今年は、コロナの影響で外出自粛規制により残念ながら壁外へ飛び出すことができませんでした。しかし、この状況だからこそ、インターネットの世界を上手く使うチャンスだろうと。
そこで、各国でカンファレンスがオンライン開催になったことを知り、それなら世界のカンファレンスに**Speaker**として出場していくぜっ！世界各国で開催されている[Python Conference 2020](https://www.python.org/events/python-even
嘘ニュースジェネレーターを作った話
M2の@marutakuです。この記事は[MYJLab Advent Calendar](https://qiita.com/advent-calendar/2020/myjlab) 23 日目の記事です。前回の記事は、@kanekomによる[Twitch配信アーカイブのコメント流量を可視化してみた](https://qiita.com/kanekom/items/42ed3cd079fa5409ae58)でした。
今回の記事ではgolangでクソアプリを作って発表する予定だったのですが、修論が大炎上してしまったので断念しました。知ってた。
そこで、過去に作った嘘ニュースジェネレーターを紹介したいと思います!## どんなアプリか
[虚構新聞](https://kyoko-np.net/)がとても面白いので、自動生成してみたい！という安易なモチベーションから作りました。使用するデータは、虚構新聞は時事ネタなどを使ってパロディ(?)記事を書いているので、Yahooニュースに掲載されている現実に起こったニュースを基に嘘ニュースを生成しようと思いました。
文章の生成には、マルコフ連鎖を使
PythonでParquetを扱う
## 始めに
私の所属する内製チームではユニケージからの移行を進めており、テキストファイルの大規模トランザクションデータをユニケージコマンド以外の方法でどう扱うかが課題になっております。
以前pandasでユニケージファイルの取り扱いを試してみたところ、100万行レベルになるとユニケージコマンドよりも圧倒的に遅いという結果になってしまいました。その後parquetに変換してはどうかという話があり、早速試してみることにしました。
### 環境
– MacOSX 10.15.4
– Python3.8.2## pysparkのインストール
“`
pipenv install pyspark
“`## まずpysparkでそのまま読み込み
実際に使われている89万行のデータを用意して先頭5行を表示します
“`python
from pyspark.sql import SparkSession
from pyspark.sql.types import *spark = SparkSession.builder.appName(‘SparkSample’)
気象データが欲しくなって過去にスクレイピングで入手した話
# この記事を書いた理由
– 1年半前に使ったものを見つけたので整理(年末に向けたお掃除)
– なんちゃって分析レベルでも分析大事だなと再認識したので書きながら記憶を呼び起こしたい# 当時の状況
– 当時、一般ユーザー向けのサービスを担当していて、ユーザーがどんなシチュエーションの時にどういう行動を取るのか見たかった
~~(大人の事情で詳しく書けない)~~
– 天気とか気温が関係する(と考えられている)サービスだったから気象データと紐付けて分析すれば何かわかるのでは？という考えがあった
– 分析タイミングは不定期だったので必要なタイミングで手動で叩いて取得していた## データ分析例
仮に1ヶ月の間にAさんがランチをどこで食べるのかを集計。 ~~実際に分析したものじゃないです~~
(ここでは お店の名前、お店に訪れた日時、お店の場所 を保持してるものとする。)集計したものを見たところ、職場から離れた飲食店に行くこともあれば近くの飲食店やコンビニで済ませてしまうこともある。
→それぞれの店の使用回数にバラつきはあるものの、 `何故` そうなってるのかがわからない :t
LookerSDKを使ってローカル環境からSQLを実行してみた
## やったこと
– ローカル環境からLookerAPIを使ってSQLを流して結果を受け取る## 背景
– データ分析をする際にいちいちcsvダウンロードするのはちょっとだるいので作業が生まれる前に消し去りたい
– SDKがあるならさらに楽ができるかも## 用意するもの
– Python
– LookerSDK## 準備
### Looker Api SDK
公式説明
https://docs.looker.com/reference/api-and-integration/api-sdkGitHub
https://github.com/looker-open-source/sdk-codegen/tree/master/pythonとりあえずインストール
“`
pip install looker_sdk
“`### 認証
– APIの認証key取得はこちら[リンク](https://www.niandc.co.jp/sol/tech/date20191213_1826.php)
– 環境変数の種類はこちら[リンク](https://github.co
JupyterLabお勧めExtension（拡張機能）
## jupyterlab-lsp
自動補完ツール。jupyterLab自体にもTab補完は存在するが、あれを超える便利さ。
PycharmやIDLEというぬるま湯環境に慣れきった筆者にとって必須機能。
ググる回数が激減するので時間効率もUPする。
タイプ数も減るので腱鞘炎予防にもなるかも？
[jupyterlab-lsp](https://github.com/krassowski/jupyterlab-lsp)
ちなみに、Extensionを導入しただけでは起動しませんでした。
以下のcondaパッケージが必要です。python-language-server
nodejs(パッケージだけでなく、nodejsライブラリそのものが必要です。[ダウンロード](https://nodejs.org/ja/))####
Pythonでtwitterでいいねしたツイートにある画像を収集するプログラムを作ってみた
この記事は[Akatsuki Advent Calender 2020](https://adventar.org/calendars/5174)の23日目になります
## はじめに
運用して2~3年経っているのですが記事にしておらず今回いい機会なのですることにしました。
まず事の経緯として
twitterを覗いていると収集したい画像が回ってくることがあります。
そこでいちいち**右クリック->ダウンロード->パス指定**は非常に面倒だしそういうツイートが連続で来たら？となるとやってられません。そこで**何かしらトリガーがあって自動でダウンロード**してくれないかなと。
それで**閲覧する用のwebページがあれば**完璧ではないかと。
そんな訳で収集欲と技術欲半々のなか作ることにしました。今回は収集のところだけ。
（それpixivとかで良くない？とか思うかもしれないですが
自分の欲しいやつだけ閲覧できるものが欲しいんです・・・）## 要件
・RTではなく**いいねのツイートのみ**ダウンロードすることに。
いいねだと**クリック手順が１つ少ない**ので速攻次のツイ
オブジェクトストレージ Cloudian/S3 にJSON形式のデータを書き込みしてみます
## はじめに
AWS SDK for Python(boto3) を使って、プログラムをほぼ変更せずに Cloudian と S3 へのアクセスが可能となります。オブジェクトストレージをハイブリッド（オンプレミス：Cloudian、AWS：S3）で使いたい方への参考になればと、、、## 概要
オブジェクトストレージ Cloudian/S3 上のバケット名「boto3-cloudian」に、JSON形式のデータを書込む Python プログラムです。生成するJSON形式のデータ件数はパラメータで指定でき、ファイル「test-iot-dummy.json」に書き込まれます。プログラムをカスタマイズすることにより、なんちゃってIoTデータ生成として使えるかもと想定しております。生成されるデータ項目についてはプログラム内の「items」を参照ください。
– パラメータは以下の３種類となります。
– –count ： 生成するデータ件数（デフォルト：10件）
– –proc ： 生成するプロセス名（デフォルト：111）
– –mode ： 生成データの出
[Python] 区間スケジューリング ABC103D
#[ABC103D](https://atcoder.jp/contests/abc103/tasks/abc103_d)
下図のようにすべて串刺しにするには、最小何本必要か、という問題である。
区間スケジューリング問題とは以下のような問題である:>M 個の区間が与えられ、どの 2 つの区間も時間帯を共有しないように最大個数の区間を選べ
蟻本の Greedy の章の最初にも載っている有名問題で、区間の終端でソートして Greedy にとっていけばよい。
実は今回の問題の答えは、区間スケジューリング問題の最適解と同じになる:
* まず区間スケジューリング問題の答えが k 個だった場合、その k 個は時間帯を共有しないので、それらを全部刺すには最低でも k 本の串が必要である (**弱双対性**)
逆に k 本の串があれば十分であることは
