生活を良くします - 怠惰なプログラミング

生活を良くします-怠惰なプログラミング

外資系でエンジニアをやっています。便利なサービスや商品、プログラミングで作ったものなどを紹介していきます

プログラミング

Hadoop Hive の環境構築用にDocker Imageを作成した~ VM上でのテストからlocal のコンテナへ移行

CentOS でHive と Hadoopの環境構築 Hadoop と Hiveについて VM上にHive と Hadoopの環境を作成する Hive 環境の Docker imageを作成 Docker について Dockerfileの作成とETL Hiveを実行してみる Docker Buildをする Hive 簡単なコマンドの実行 Dockerfileで…

HiveとHadoopの環境構築 〜 virtualBoxのCentOS7を使用しデータ分析を分散処理する準備

Hive と Hadoop Hadoop ファミリーの主要なメンバー Hadoop Hive 環境構築が今までの中で一番大変だった Hadoop 3.1.0とHive3.1.0をダウンロード wget のインストール Javaのインストール Hadoopのインストール derbyのインストール Hiveのインストール 最終…

MacOSからvirtualBoxでCentOS7を使用する環境構築 〜ネットワーク設定 からssh接続

VirtualBoxのインストールと設定 virtualBoxのダウンロード CentOS7のisoをダウンロード CentOSでの初期設定 ネットワーク設定とssh接続 CentOSを最初に動かすときに virtualBoxでのコピペ Macのターミナルからssh接続する方法 まとめ VirtualBoxのインスト…

VM Ubuntuでキーボードを日本語配列に - 入力がおかしい場合にkeyboard layoutがUSになっているのを変更する

キーボード入力がおかしい! 先に解決策から 失敗した解決策たち sudo dpkg-reconfigure keyboard-configuration sudo apt-get install keyboard-configuration sudo apt-get install console-common sudo cp /usr/share/zoneinfo/Asia/Tokyo /etc/localtime…

就活を控える学生がプログラミングを学んだ方が良い理由 〜 実績・人脈・スキル・転職・経験など就活準備とアピールに最適

なぜプログラミングを学ぶと良いのか 就職活動自体に役立つメリット 文系・理系ともにスキルが身につく 実績が作れてアピールできる 就職後にも役立つメリット 様々な技術がわかる下地ができる 転職にも強いのでクビを恐れないで済む パターン別 どこでプロ…

Python Jupyter notebookでpandasを使いCSVを読み込みグラフを描画してpdfなどで保存する方法

Pythonでグラフを描画する方法について jupyter notebook 今回やりたかったこと pythonでpandasとmatplotlibを使いグラフを作成する 具体的な説明について 考えられるエラーとその対策 AttributeError: ‘Series’ object has no attribute ‘find’ KeyError: “…

プログラミング初心者が一ヶ月でJavaを使えるようになるまでにやったこと 〜 勉強方法と学べるサイト・サービスについて

プログラミング初心者がコードを書けるようになるまで プログラミングのきっかけ Javaが出来るようになるまでにやったこと プログラミングのメリット フリーランス・起業・デザインと相性が良い これからプログラミングをやるなら 自分の力で勉強する 無料の…

英語とプログラミング、どっちも無料で日本にいながら独学できるオンラインサービスまとめ 〜 初心者から上級者の開発講座

プログラミングと英語 両方とも昇進や仕事に役立つ 英語とプログラミングはどちらが重要? 無料で学べるサービス一覧 Udacity Codecademy MITOPENCOURSEWORK Coursera Khan Academy 短期留学する・日本語のスクールに通う フィリピン留学など 海外ドラマ・映…

PythonでTwitter APIにアクセスしタイムラインをキーワードで検索・取得 〜 認証エラーやAPIについて

Twitter API 登録方法について アプリケーションの登録 認証方法について アクセストークンなどの生成 認証方法 Twitter APIを使ってみるサンプル TEST OAuthで「このページは存在しません。」 Twitter APIの制限など アクセス回数の制限 取得できる期間・遡…

isotopeを使ってはてなブログカスタマイズを考えた:Jquery?Javascript?プロトタイプのみ

はてなブログでJavascriptを使いたい 今回の試作品 試作品の簡単な紹介 カスタマイズっぽいプロトタイプの良いところ 変化が面白い 敷き詰めれる 使ったライブラリ・技術・言語 isotope 考えられるエラー まとめ はてなブログでJavascriptを使いたい 今回の…

つらい腰痛に苦しむエンジニアへ 実際に効果があった対策・解消方法 〜 Amazonで買ってよかった椅子など

腰の痛みについて:原因と対策 腰の痛みによる弊害 腰の痛みの原因について 姿勢が悪い 椅子の質が悪い 長時間座りすぎている 腰痛の対策方法について クッション 椅子 整体・マッサージ 自宅で気軽なマッサージ まとめ 腰の痛みについて:原因と対策腰の痛…

Error:Execution failed for task ':transformClassesAndResourcesWithProguardForRelease' への対策 : Android Studio

Proguard.txtを設置した Proguard.txtを設置した Proguardとは Proguardの設定 勝手に生成される build.gradleの変更 build.gradle proguard-rules.pro proguard-rules.pro Proguard設定時の予想されるエラー エラー 直し方 proguard-rules.pro Proguardとは…

エラー: パッケージorg.apache.http.clientは存在しません への対策

Android Studioでの開発 Android Studioでの開発 Apache http clientを使いたい 修正したコード build.gradle 解決策:compile filesの追加 解決策:useLibraryの設定 まとめ Apache http clientを使いたいApache http clientを使用してappを開発していました…

Android Studio : debugビルドとReleaseビルドの切替、releaseビルドの追加方法、署名付きapk作成方法

Android Studio Android Studio はじめに デバッグとリリース 変更する場所 Releaseモードの追加方法 build.gradleの設定 build.gradle -release.apkの作成 想定されるエラー 対応方法 まとめ はじめにAndroidに詳しい人が周りにいないのでネットで調べなが…

はてなブログ:外部ファイルを読み込み可能にホスティング ~Github Pagesで jsファイル、cssファイル

はてなブログでも外部ファイルを使いたい はてなブログでは画像しかアップロードできない 真っ先に思いついたGoogle Drive Githubアカウント Githubでホスティングさせる手順 Githubアカウントを作成 New Organizationを作成 New repository gitコマンド使用…

pythonで司法試験をデータマイニングもどきその1 : 単語の出現回数を調べる

司法試験 興味を持ったきっかけ 見つけた問題 Pythonの練習 やろうとして失敗したこと 1 やろうとして失敗したこと 2 Mecabとは?インストールの方法 Jupyter notebook入れ方 うまくいった?こと 書いたコード 司法試験興味を持ったきっかけ「Better Call Sa…

mosquittoコマンドのインストール・使い方

mosquittoとは インストール方法 homebrewを使う インストール時のエラー 動作確認テスト 動作確認テストその2 mosquittoとは MQTT(MQ Telemetry Transport) とは、publish/subscribeモデルに基づく軽量なメッセージプロトコルです。ネットワークが不安定な…

ffmpegで画像の山から動画を作る or 動画から静止画を取り出す ~ Youtuber向け?

ffmpegとは 無料で使えるソフトウェア インストール方法 動画から切り出す方法 シンプルな方法 自分が使っているコマンド例 オプションの解説 画像の山から動画を作る方法 形式変換 まとめ ffmpegとは無料で使えるソフトウェア FFmpeg(エフエフエムペグ)は…

Udemy 「実践 Python データサイエンス」でアメリカ大統領選挙をデータマイニングする

Udemyで選挙のデータマイニング Udemyとは 「実践 Python データサイエンス」コースについて アメリカ大統領選挙 世論調査 世論調査の行方 トランプの支持率 - クリントンの支持率 「実践 Python データサイエンス」が終わったら 次に読んでみると良いかも …

Udemy : Pythonで実践データサイエンスコースを受講、ドットインストール強化版 ~データサイエンティスト養成講座

Udemyとはオンライン学習サービス米国シリコンバレー発祥のUdemyは、学びたい人と教えたい人をつなぐ大きなオンライン・プラットフォームの役割を担っています。実務経験や知識が豊富なその分野の専門家の人に教えたいという需要と、初心者やその分野の知識…

jupyter notebookのインストールの方法と使い方 〜 ノート形式で逐次実行できるpythonエディタ

jupyter notebookとはノート形式のpythonグラフもその場で描画可能(Adobeの株価推移) また、作成したグラフは.png形式になっているため、ドラッグ&ドロップでwordやメール、論文などに添付可能です。論文に添付する場合は、おそらく.epsに変換すると思います…

文字列の類似度を測定する

自分と似ているツイートを探したい文字の類似度を図る方法についてレーベンシュタイン距離、ジャロ・ウィンクラー距離、cos類似度、3-gramという方法があります。 今回はレーベンシュタイン距離を使って進めていきたいと思います。 twitter APIを使って自分…

Mac OS(Sierra) Javaでmecabを使う方法

形態素解析を行いたい 形態素解析とは mecabを使う方法 mecab本体の設定方法 mecab-ipadicの設定方法 Javaからmecabを使う方法 mecab-javaのバインディング 1.mecab-java-0.996.tar.gzをダウンロードする 2.tar vzxf mecab-java-0.996.tar.gz で解凍する 3.m…