- 1. 超解像化(ESRGAN)と物体検出(DETR)を組み合わせたハイビジョン物体検出
- 2. DataScienceのための、それっぽい位置情報テストデータを作成する方法
- 3. python+opencvで画像処理の勉強1 画像の読み込みと表示
- 4. 機械学習で画像を作りたかった ~2.サイズを加工する~
- 5. [Python]デフォルト値を持つ引数の前にはアスタリスクを設けておくと堅牢で良いかも、という話
- 6. 色々置いといて取り敢えずpythonでスクレイピング
- 7. なろう小説のブクマ数予測コンペに参加した話
- 8. どう print と使い分ける? 私のログの使い方
- 9. 良いbotを作るためのasync/awaitとイベントループの基本(前編)
- 10. Pythonでemailを送信する 【htmlもファイル添付もEmailMessageのみで十分ですよ!!】
- 11. paizaの問題文用に作成した文章校正ツールProofLeaderの仕組み
- 12. Django REST FrameworkのSerializerが「いい感じにやってくれている」内部におけるデータの持ち回り方法を読む
- 13. Cloud Composer(airflow)でGoogle WorkspaceのAPIを使う
- 14. そのビデオ通話,そろそろ終わりません?
- 15. PythonからLocalStackへ繋ぐ際の注意
- 16. 【環境構築】macOS Big Sur 11.6.1 + Dockerのpython containerでVSCodeを使って開発する
- 17. Algorithm | 区間スケジューリング問題をPython3で解説(例題あり)
- 18. 目をでかくして誰でもアイドルみたいになれるアプリを作った
- 19. クリーンアーキテクチャに入門してバッチシステムをリニューアルした
- 20. 画像読み込みでエラー(Python)
超解像化(ESRGAN)と物体検出(DETR)を組み合わせたハイビジョン物体検出
# はじめに
物体検出の最新モデルであるDETRとGANを用いた超解像化のESRGANの二つを組み合わせて、物体検出を行います。
以下、オリジナルの動画です。
![origin.gif](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/731268/dddb2663-cd5f-28ed-5152-607dfd7fc9c1.gif)
レポジトリはこちらです。
https://github.com/sugiyama404/ObjectDetection
## 動画について
youtube8mの動画を再編集して使用しています。
https://research.google.com/youtube8m/
引用している動画
### 動画のライセンス
以下のライセンスに従っています。
https://creativecommons.org/licenses/by/4.0/deed.
DataScienceのための、それっぽい位置情報テストデータを作成する方法
IBM Cloud Paks Advent Calendar 2021 7日目です!
Cloud Pakで皆さんとかぶらないようなネタは何か無いものか考えたのですが、なかなか浮かばないものです。
過去の業務経験からネタを出すことにしました。というわけで、[IBM Cloud Pak for Data](https://www.ibm.com/jp-ja/products/cloud-pak-for-data)でも使える位置情報データを作ります。
#データどうしよう問題
データサイエンスする際に困るのが、「データどうしよう」問題です。
さぁ分析しよう!と盛り上がったはいいものの、* お客様や関係部署からデータを貰うために調整・申請・承認作業が必要、すぐには貰えない…
* デモやハンズオンなどでデータを作らざるを得ない…なんてことから結局自前でデータを用意するシーン、ありますよね。
([IBM Cloud Pak for Data](https://www.ibm.com/jp-ja/products/cloud-pak-for-data)のData Virtuali
python+opencvで画像処理の勉強1 画像の読み込みと表示
OpenCVを使った画像処理の基礎を勉強していきます。
OpenCVを使用するので、細かい理論や1からの実装は行いません。### 画像の読み込みと表示
何はともあれまずは画像を読み込み表示してみます。
読み込みはimread()、表示はmatplotlibのimshow()を使用します。“`python
import cv2
import matplotlib.pyplot as pltimage_path = “./image.jpg” # 画像のパス
img = cv2.imread(image_path)
plt.imshow(img)
“`
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2358656/1e295bab-39d6-ab40-b1c5-e798379526ee.png)色が不自然に感じます。
ここで、読み込んだ画像のサイズを確認します。
numpyの配列同様に.shapeで表示できます。“`python
img.shape
“`
![i
機械学習で画像を作りたかった ~2.サイズを加工する~
前回の記事はこちら
[機械学習で画像を作りたかった。~1.画像を集める~](https://ravito.hatenablog.com/entry/2020/07/16/072522?_ga=2.74114578.1269552960.1594849626-1805230172.1576318605:embed:cite)今度はAIが学習しやすいように、サイズを256✗256に加工する。
[GANでピカチュウを描いてみる – Qiita](https://qiita.com/hideki/items/4de4928236ca15152c18#%E7%94%BB%E5%83%8F%E3%81%AE%E5%88%87%E3%82%8A%E5%87%BA%E3%81%97:embed:cite)
前回同様こちらのブログに記載されたコードを、
eclipseを使用して作ったPythonファイルに書いた。ここで、以下の文章が「eclipseには存在してないですよ」と下赤線でエラーを吐かれた。
“`Python
from PIL import Image, ImageOps
“`
[Python]デフォルト値を持つ引数の前にはアスタリスクを設けておくと堅牢で良いかも、という話
# TL;DR
Pythonでデフォルト値を取る引数に関してはその前にアスタリスク(`*`)の引数設定があるとキーワード引数を前提とする縛りを設けられて引数順や引数の追加などをした際に影響が少なくて堅牢で良さそう、という話です。
# きっかけ
先日タイムラインに以下のようなツイートが流れてきて拝見しました。
PythonのOSSのレビューで、新しいキーワード引数を入れる時に、前に`*`を入れるように指摘されるのをよく見るんだけど、なるほど、*の後はキーワード引数じゃないといけなくなるのか。確かに`*`無しだと、間違って引数を入力しちゃうこともあるし、キーワード引数の順番も変えられなくなるから、これはいい pic.twitter.com/PL6aHorINW
— Atsushi Sakai (@Atsushi_twi) 色々置いといて取り敢えずpythonでスクレイピング
# はじめに
初めまして。おおのと申します。最近はパワポケやダンガンロンパ、月姫など昔のゲームのリメイクやら移植作品がたくさん出てうれしくて全部買ってしまったのに一つもやる時間が無くてやばいクレーマーと化しそうです。あと金もなくなりました。
そういえばポケモンのダイヤモンドとパールのリメイクも出ましたね。当然私も購入したのですが、バッジ一つも取れておらずもうパルキアにでもなってあたりを焼け野原にしたい気持ちでいっぱいです。切に中学時代の友達と会って対戦がしたいです。
ところで、突然ですが日常生活でスクレイピングしないといけない事態に陥ったことはありませんか?僕は無いですが、先日なんとなくスクレイピングをしてみたので、軽くまとめていきたいなと思います。自分も初心者でググりながら色々やってみたクチなのでより詳しい解説欲しい人はこんなばかみたいな「はじめに」書いてる記事なんか読んでないで別の記事探してください。(ごめんなさい)
ここでは大雑把に自分が書いたコードの説明だけします。
対象としてはスクレイピングやってみたいけどどうしたらいいかさっぱりわからななろう小説のブクマ数予測コンペに参加した話
# はじめに
こんにちは、[estie](https://www.estie.jp/corp/)で機械学習エンジニアをやっている、ぴーまんです。 最近、自分の体の細さに嫌気が差し、ジム通いを始めたものの、カウンセリングで体の状態を測定した結果「プロアスリート級」の体という診断を受け、少し満足してしまっている自分がいます。今回は[estie Advent Calendar 2021](https://qiita.com/advent-calendar/2021/estie) 7日目の記事として、趣味で取り組んでいるデータサイエンスコンペについて書こうと思います。
# データサイエンスコンペとは
まず、皆さんはデータサイエンスコンペをご存知でしょうか。有名なものだと、[Kaggle](https://www.kaggle.com/)社が運営するKaggleというコンペがあり、こちらは耳にしたことのある人もいるんじゃないでしょうか。(ちなみに2017年にgoogleがKaggle社を買収したらしいです。知らなんだ。)データサイエンスコンペでは、運営・企業から与えられたデータに統計手法・
どう print と使い分ける? 私のログの使い方
この記事は [ユニークビジョン株式会社 Advent Calendar 2021](https://qiita.com/advent-calendar/2021/uniquevision) 7日目の記事です。
デバックには手を焼いている。なんでみんなログを使わないのか :thinking:
(個人的には print でデバックするのをやめてほしい。
会社でRSpecを使っていると、テストの成否とは関係ない出力が邪魔で仕方がない… ?)ここでは、私が良く使っているログの基本的なアプローチを述べる。
# ログは副作用
最近は副作用を嫌う人が増えてきたように感じる。
とはいえ、**我々は好んで副作用を利用することがある**。そう、ログだ。
例えば、あるデータを処理して JSON を返すプログラムの場合を考えみよう。
下記はJSONデータは標準出力。
“`sh
$ python output_json.py –data 1
> { “data” : 1 }
“`下記は標準エラー。
“`sh
# 標準エラーを利用する場合
$ python outp
良いbotを作るためのasync/awaitとイベントループの基本(前編)
こんにちは。暗号通貨のボッターとして活動している黒枝と申します。
Advent Calendarの7日目と8日目の枠をお借りしています。
この記事ではPythonやNodejsで利用することのできる`async/await`を用いた非同期処理について、その背景や実際のところ何を実現したいのかについて考えてみたいと思います。
この記事の目標は次のような状態を、根っこの部分を知ることで抜け出すことです。
「あれ、なんでこれ動かないんだろう…あ、await取ったら動いた。よくわからないけどまあいいか」
シングルスレッドで扱う非同期処理は安定したウェブアプリケーションを書くために非常に有効ですが、理解が浅いとアプリケーションの動きを阻害してしまいます。
本稿では、この機能をイベントループという仕組みに触れながら、前編と、後編の二回に分けて解説を試みています。
コンセプトの掘り下げを本題のため、どのようにパラレルな呼び出しをするかや、どうやって複数の非同期処理を待つのかといった実用面はカバーしていません。また、コードの中では個人的に理解の深いNode.jsのコードを合わせて取り上げ
Pythonでemailを送信する 【htmlもファイル添付もEmailMessageのみで十分ですよ!!】
# はじめに
Pythonでemailを送信する方法を説明する記事はたくさんありますが、ほとんど(というか全て)の記事で`MIMEText`および`MIMEMultipart`を使用した例が紹介されています。しかし、python3.6で追加された`email.message`モジュールにある`EmailMessage`を使えばより簡潔にメッセージの作成が行えるので紹介します。
実際、[公式ドキュメント](https://docs.python.org/ja/3.10/library/email.mime.html?highlight=mimemultipart#email.mime.multipart.MIMEMultipart)でも
> This module is part of the legacy (Compat32) email API. Its functionality is partially replaced by the contentmanager in the new API, but in certain applications these class
paizaの問題文用に作成した文章校正ツールProofLeaderの仕組み
# はじめに
[paiza](https://paiza.jp/)アドベントカレンダー 2020 7 日目を担当する xryuseix です.paiza では[paiza ラーニング](https://paiza.jp/works/mypage)の学生アルバイトをしています.
今までのアドベントカレンダーは[こちら(Adventar)](https://adventar.org/calendars/6343).昨日のアドベントカレンダーは[もじゃさんの「みて うちのかわいい魚たちを」](https://note.com/s10akir/n/n766b26f90d96)です.さて,今日は文章構成ツールについてお話しします.社内ドキュメントも社外用公開ドキュメントも,複数人で書く場合はフォーマットを統一する必要があります[^1].例えば以下の二つの文章をみてみましょう.
“`txt
文章を綺麗に書く事はとても美しい.何故なら,世界で一番文章が麗しくなるからだ.
“`“`txt
文章を綺麗に書くことはとても美しい。なぜなら、世界で 1 番
Django REST FrameworkのSerializerが「いい感じにやってくれている」内部におけるデータの持ち回り方法を読む
この記事は [ハンズラボ Advent Calendar 2021](https://qiita.com/advent-calendar/2021/handslab) 7日目の記事です。
お疲れさまです。@naokiurです。
今年もこの季節がきましたね。担当させて頂きます!—
Webアプリケーションフレームワーク、便利ですよね。
これまでいくつか、Django REST Framework(以下DRF)を使用してシステムを開発してまいりました。Webアプリケーションフレームワークに限らず、
“`
ライブラリ、既存のシステムがどのような動きをしているかを読み解いていくと、
力になるよ、Tomcatのソースコードとか読んで見ると良いよ
“`と、自分が業界に入りたてのころ、おすすめされた記憶があります。
Tomcatのソースコードは読めていませんが、
今回は「いい感じにやってくれる」DRFの、
`Serializer`がどのように「いい感じにやってくれている」か、
以前少しコードリーディングしたので、その記録を残させていただきたいと思います。# どんな方
Cloud Composer(airflow)でGoogle WorkspaceのAPIを使う
# はじめに
これは [Kyash Advent Calendar 2021](https://adventar.org/calendars/6274) の7日目の記事ですKyashで、経理・会計・資金決済法の担当エンジニアをしているPrinceチームの清水([@thimi0412](https://twitter.com/thimi0412))です。
Princeチームについてはこちら → https://foxtoy.hateblo.jp/entry/2021/07/19/100223KyashではGoogle Cloud Composerを使用して会計業務に使うViewテーブルの作成などをおこなっています。
その中でBigQueryに対してクエリを実行し、結果をスプレッドシートに書き込み指定された共有ドライブのフォルダ内に入れる等の操作が必要になりCloudComposerでGoogle Workspace系のAPIを使う機会があったのでハマった点やどう使っているかを書きます。>Cloud Composerとは
Apache Airflow(ワークフロー管理ツール)
そのビデオ通話,そろそろ終わりません?
# はじめに
この記事は[「Twilioを使うためのコツ、TIPSなど、Twilioのことなら何でも共有しよう!」](https://qiita.com/advent-calendar/2021/twilio)の7日目の記事です.このご時世,業務・プライベート関わらずオンラインでビデオ通話をする機会が多いと思います.
でも,「このビデオ通話そろそろ抜けたいなぁ」と思うことがあるんじゃないでしょうか.
例えば
– 眠たくなってきたオンライン飲み会
– 次の仕事に行きたいけど,延長している会議
– そろそろ休憩したい作業通話 etc…そんなとき「そろそろ僕はこのへんで…」と伝えるの,すごくハードルが高いですよね.
それを解決するためにボタンを押すとそろそろ抜けたい..と匿名で伝えてくれるビデオ通話アプリを作成しました.# 本題
こんな感じで終わりたい人がいることを全員に伝えたいです.
![スクリーンショット 2021-11-21 22.00.13.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.co
PythonからLocalStackへ繋ぐ際の注意
たくさんはまったので備忘録。
LocalStackへ接続するにあたりAWSアクセスキー、AWSシークレットキーの代わりにエンドポイントURLを設定する必要があるが、
`s3fs`を利用していると(内部的には`boto3`を利用しているらしい)
`endpoint_url`の引数の設定の仕方が意地悪(公式ドキュメント化されていないらしい。https://stackoverflow.com/questions/49215833/s3fs-custom-endpoint-url
>There is an undocumented parameter in the current verison client_kwargs={‘endpoint_url’: ‘https:…’} which is the desired one.
また、`docker-compose`ではコンテナ名がドメインのエイリアスに使えるのだが
こちらの記事https://qiita.com/okashoi/items/1ddf3724ad5c166e417b
を参考にさせていただいて、
エイ
【環境構築】macOS Big Sur 11.6.1 + Dockerのpython containerでVSCodeを使って開発する
会社貸与のMacBook Proに飲み物をこぼしてしまい動かなくなったので交換してもらった。:bow_tone1:
前のマシンにはpythonやらpandasやら使いたいライブラリーを直接インストールしていたので、環境のトラブルがあった場合に色々と面倒だった。今回は素直にDockerで環境構築して、いざとなればcontainer捨てて作り直せばいいやと思い、環境構築の手順をロギング。とりあえず、pythonのcontainerにpandas入れたので既存のコード修正して実行したいけど、いちいちcontainerにコード持っていくの面倒なので、vscodeと連携させるところまでやりたい。
前回までの記事
【環境構築】macOS Big Sur 11.6.1 にDockerをInstall
https://qiita.com/cocoapuff/items/e3eee747b1aeafa32037
【環境構築】macOS Big Sur 11.6.1 + Dockerでpython
https://qiita.com/cocoapuff/items/1daaf9e91b24bc381
Algorithm | 区間スケジューリング問題をPython3で解説(例題あり)
## 区間スケジューリング問題とは
区間スケジューリング問題とは、**それぞれの区間が重複せず、それぞれの区間の数を最大化するためにはどうすればよいかを考える問題**である。
具体的には次のように行う。
> 1. 区間の右端の数字が小さい順番になるように、昇順に並び替えをする
> 2. 並び替えした区間を順番に見ていく
> 3. 「その区間の左端」と「ひとつ前の区間の右端」とを比較する
> 4. 「その区間の左端」の数字が大きければ、その区間を採用し、右端の値を「ひとつ前の区間の右端」の値とする. 「その区間の左端」の数字が小さければ、区間が重複しているので、採用しない.
> 5. 3、4を繰り返すこのようにすることで、区間の数の最大値を求めることができる。
![Qiita-9.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/716184/6a80f0bb-1aad-063e-da29-5967a3175833.jpeg)
![Qiita-10 1.jpg](https://qiita-ima
目をでかくして誰でもアイドルみたいになれるアプリを作った
こんにちは、[クソアプリ Advent Calendar 2021](https://qiita.com/advent-calendar/2021/kuso-app)の7日目を担当します
[Yui](https://twitter.com/yui_active)です。皆さんは撮った写真を見て、**もう少し自分の目が大きければな〜〜〜**と思ったり、うっかり**目が半開きになっていた**という経験はありませんか??
そんなときに使える画期的なアプリを作ったのでその紹介をします。
〜もう目が小さいなんて言わせない〜
画像の目を自由に大きくできるアプリを作りました!
ログインやインストール不要、ブラウザで簡単!複数人の画像でも大丈夫!
自然な感じに仕上がるように頑張ったので、いいねやRTでみんなに教えてくれると嬉しいです???クリーンアーキテクチャに入門してバッチシステムをリニューアルした
10ヶ月ほどやってきた案件がS-inを迎えたのでやってきたことを備忘録として残します。
現場のベテランエンジニアに教えてもらいながらクリーンアーキテクチャを導入してバッチシステムをリニューアルしました。# 背景
全国の事業者から届くあるデータ(水道の検針データとして話を進めます)を集計して計算するバッチシステムです。Jenkins(AWS EC2)でWorkFlowを管理し、そこでShellとPythonのスクリプトが動作する環境でした。
実装ルールが定まっておらず、似たような実装が点在していたりテストコードが書かれていない箇所が散見されました。
レイヤー分けをして責務を明確にする、そしてクラス間を疎結合にすることでテストコードを容易に書けるようにクリーンアーキテクチャを導入することとなりました。## 方針
[The Clean Code Blog](http://blog.cleancoder.com/uncle-bob/2012/08/13/the-clean-architecture.html)にある例と全く同じではないですが、ソースコードが内側の上位レベルの方針だけに向画像読み込みでエラー(Python)
画像読み込みでエラー
C:/Users/〇〇〇/Desktop/PythonTest/ああああ.jpg
Exception in Tkinter callback
Traceback (most recent call last):
File “C:\Users\〇〇〇\anaconda3\lib\tkinter\__init__.py”, line 1892, in __call__
return self.func(*args)
File “C:\Users\〇〇〇\Desktop\0MeasureJudge.py”, line 1728, in
exitButton = tk.Button(win,text=”画像を読込”,command = lambda:openImg(1))
AttributeError: ‘NoneType’ object has no attribute ‘shape’結論。
読み込もうとした画像ファイル名が日本語のためエラー。