damのブログラミング雑記ブログ
Home
sed
awk
vi
bash
tcsh
linuxコマンド
Japanese English
  • Chromeをカスタマイズ起動!--incognito や --remote-debugging-port の使い方

    2025年5月11日 スクレイピング
    Chromeをカスタマイズ起動!--incognito や --remote-debugging-port の使い方

    以下は、chatGPTとのやりとり備忘録。 Q1. chrome起動時のオプションの--incognitoとは? --incognito は、Google Chrome を起動するときに「シークレットモード(Incognito mode)」で自動的に開くようにするコマンドラインオプション

    続きを読む
  • VBAでスクレイピング中にHTML要素を削除する

    2022年4月17日 スクレイピング VBA Javascript
    VBAでスクレイピング中にHTML要素を削除する

    Excel VBAでWebスクレイピング中に、不要な要素を削除する必要が出てきたので、その方法を備忘録として残す。 例えば、下図で「他の人はこちらも質問」の要素を削除する。 まずブラウザの開発ツールから、不要な要素を特定するための属性情報を確認する。 cl

    続きを読む
  • XPathによる要素特定(class属性値が複数の場合)

    2022年2月7日 XPath スクレイピング
    XPathによる要素特定(class属性値が複数の場合)

    例えばHTMLソース内に<div class="a">というdivタグがあるとする。 このdivタグを特定するxpathは//div[@class="a"]である。 では<div class

    続きを読む
  • XPathの動作確認(Excel VBA編)

    2020年8月10日 VBA スクレイピング xpath
    XPathの動作確認(Excel VBA編)

    サンプルドキュメント 図1のXMLドキュメントファイルをVBAプログラムでロードして、XPathのテストを行う。 構造としては、Studentsの子要素にStudentが複数あり、さらにその子要素にIdとsubject別のScore要素がある。

    続きを読む
  • Excel VBAで xmlデータを扱うときは名前空間に注意する

    2020年8月6日 VBA xml XPath スクレイピング
    Excel VBAで xmlデータを扱うときは名前空間に注意する

    サンプルデータと取得方法 サンプルデータと名前空間 下図をサンプルデータとして、データの取得方法を説明する。図1:サンプルデータ 3行目で名前空間が記述されている。また、6,7行目では名前空間が2つ記述されている。 ① xmlns="http://mws.amazonservices.com/schema/Products/2011-10-01" ② xmlns:ns2="http://mws.amazonservices.com/schema/Products/2011-10-01/default.xsd" ①は接頭辞(prefix

    続きを読む
  • 「セキュリティで保護されたチャネルサポートでエラーが発生しました」は、XMLHTTPで解消した

    2020年8月1日 VBA スクレイピング

    ツールを動かしていたら、次のエラーが発生した。 「セキュリティで保護されたチャネル サポートでエラーが発生しました」 ログを見るなどして調査した結果、以下の状況を確認した。 エラー発生個所は、画像のダウンロードリクエスト時。 リクエストは「WinHt

    続きを読む
  • SeleniumのChromeDriverを自動でダウンロードする方法(VBA編)

    2020年7月27日 VBA スクレイピング selenium
    SeleniumのChromeDriverを自動でダウンロードする方法(VBA編)

    Seleniumを組み込んだツールを使っていると、ブラウザ(Chrome)とWebドライバー(ChromeDriver)のバージョン不一致によりエラーとなることがある。感覚的には2か月に一度程度の頻度で発生する。Chromeが自動更新される

    続きを読む
  • VBAでparseしたJSONデータの要素を取得する方法

    2020年7月24日 VBA JSON スクレイピング
    VBAでparseしたJSONデータの要素を取得する方法

    Web APIを使っていると、リクエストに対するレスポンスデータがJSONデータってことが一般的だ。JSONデータはキーと値のペア、すなわち連想配列になっているわけだが、これをparseすることで、キーを指定すれば値を取り出すことが可能となる。別

    続きを読む
  • VBAによるIE操作でロード完了判定がうまくいかないときはVisibleを弄ってみる

    2020年7月11日 VBA スクレイピング
    VBAによるIE操作でロード完了判定がうまくいかないときはVisibleを弄ってみる

    Excel VBAでIEを操作するときの話。 全てのサイトで・・・というわけではないが、ページ遷移がうまくいかず、ページロード中の状態が継続することがある。 この記事の結論を先に言えば、原因は不明だが、IEオブジェクトのVisibleプロパティをFals

    続きを読む
  • Excel VBAでHTMLソースを取得したときに文字化けしていたら、HTMLドキュメントに書き込む

    2020年7月7日 VBA スクレイピング
    Excel VBAでHTMLソースを取得したときに文字化けしていたら、HTMLドキュメントに書き込む

    Webページによってはソースがエンコードされた状態の場合がある Webページのソース(HTMLテキスト)を取得する。 ブラウザを操作中、例えばExcel VBAでIEを操作中なら、objIE.document.body.outerHTMLで取得で

    続きを読む
    • ««
    • «
    • 1
    • 2
    • »
    • »»

最近の記事

  • Chromeをカスタマイズ起動!--incognito や --remote-debugging-port の使い方
  • Linuxで簡単なシェルを自作してみた(6)|リダイレクション
  • Linuxで簡単なシェルを自作してみた(5)|バックグラウンド実行
  • Linuxで簡単なシェルを自作してみた(4)|組み込みコマンド
  • Linuxで簡単なシェルを自作してみた(3)|wait実行中の割り込みを回避する
  • Linuxで簡単なシェルを自作してみた(2)|パス名展開と引用符削除
  • Linuxで簡単なシェルを自作してみた(1)|外部コマンドの実行
  • Bashのdeclareコマンドで変数を効率的に扱う方法【オプション別解説】

タグ

SHELL 27 VBA 19 C 13 スクレイピング 13 正規表現 13 AWK 8 SED 7 LINUX 6 SVN 6 CSV 5 EXCEL 5 HUGO 5 PYTHON 5 ECLIPSE 4
全てのタグ
AWK8 BASE641 C13 CDN1 CLOUDFLARE1 CSV5 DBEAVER1 DJANGO2 ECLIPSE4 EXCEL5 FLASK1 GIT2 GO2 HUGO5 INDEX1 JAVA1 JAVASCRIPT1 JSON2 LINUX6 MAC1 MYSQL1 ORACLE1 POSTGRESQL1 PYTHON5 SED7 SELENIUM1 SHELL27 SOFTETHER1 SORT1 SSH1 SVN6 VBA19 VI1 WORDPRESS1 XML1 XPATH4 YAHOO知恵袋2 その他2 スクレイピング13 ブラウザ拡張機能1 正規表現13 通信1
[A~Z][0~9]
damのブログラミング雑記ブログ

Copyright  DAMのブログラミング雑記ブログ. All Rights Reserved