Elasticsearch là công cụ tìm kiếm và phân tích dữ liệu phân tán, xây dựng trên Apache Lucene. Nó phù hợp với tìm kiếm toàn văn, phân tích log, lọc dữ liệu và các ứng dụng cần truy vấn linh hoạt ở quy mô lớn. Tài liệu này trình bày cách vận hành từ kiến trúc, ghi đọc dữ liệu, mapping đến vận hành production, với ví dụ REST API thực hành.
1. Elasticsearch là gì và khi nào nên dùng?
Elasticsearch lưu các document JSON trong index và cung cấp REST API để lập chỉ mục, tìm kiếm, tổng hợp dữ liệu. Điểm mạnh là inverted index, khả năng chia dữ liệu theo shard, relevance scoring và hệ sinh thái quan sát hệ thống. Nó không mặc nhiên thay thế cơ sở dữ liệu giao dịch: hệ thống cần ACID đa bản ghi, khóa ngoại hoặc giao dịch phức tạp thường vẫn dùng PostgreSQL/MySQL làm nguồn dữ liệu chính.
- Nên dùng: tìm kiếm sản phẩm, bài viết, tài liệu, log và dashboard phân tích.
- Cân nhắc kỹ: dữ liệu nhỏ chỉ cần LIKE hoặc full-text của RDBMS, chi phí vận hành hạn chế, yêu cầu đồng bộ tức thời nghiêm ngặt.
- Thiết kế phổ biến: database nghiệp vụ → event/outbox → worker → Elasticsearch; tìm kiếm từ Elasticsearch và xác minh dữ liệu quan trọng tại database nguồn.
2. Cài đặt Elasticsearch và Kibana để học tập
Trong môi trường phát triển có Docker, có thể dùng hướng dẫn cài đặt local chính thức của Elastic. Các thiết lập tiện lợi cho local không được đưa thẳng vào production: cần TLS, xác thực, backup, tài nguyên và kiểm soát truy cập. Elasticsearch và Kibana cần phiên bản tương thích.
curl -fsSL https://elastic.co/start-local | sh
Sau khi chạy, kiểm tra endpoint và thông tin xác thực theo hướng dẫn mà script in ra. Có thể thao tác qua Kibana Dev Tools hoặc HTTP client. Không công khai cổng 9200 ra Internet.
3. Cluster, node, index và document
Cluster là nhóm node hợp tác lưu trữ và truy vấn. Node là một instance Elasticsearch, có thể đảm nhiệm các vai trò khác nhau. Index là tập document có mapping và settings. Document là một bản ghi JSON có ID. Shard là đơn vị phân phối vật lý của index.
GET _cluster/health
GET _cat/nodes?v
GET _cat/indices?v
GET _nodes/stats
Cluster health xanh nghĩa là các primary và replica shard được gán; vàng thường có primary nhưng thiếu replica; đỏ nghĩa là có primary shard chưa được gán. Trạng thái màu không thay thế cho đánh giá latency, dung lượng và lỗi ứng dụng.
4. Elasticsearch khác RDBMS như thế nào?
RDBMS tối ưu giao dịch và quan hệ có cấu trúc, trong khi Elasticsearch tối ưu tìm kiếm và phân tích document. Đừng ánh xạ máy móc table thành index và JOIN thành truy vấn tương đương: thường cần denormalize dữ liệu, dùng nested khi đúng mục đích, hoặc đồng bộ view tìm kiếm riêng.
- RDBMS: chuẩn hóa, khóa ngoại, transaction và cập nhật nhất quán.
- Elasticsearch: document JSON, inverted index, relevance scoring, aggregations và near-real-time search.
- Một đơn hàng có nhiều dòng hàng: cân nhắc mô hình nested hoặc document tổng hợp; đánh giá độ phình dữ liệu và chi phí cập nhật.
5. REST API và CRUD document
PUT products
{
"mappings": {"properties": {"name": {"type": "text"}, "sku": {"type": "keyword"}, "price": {"type": "double"}}}
}
PUT products/_doc/sku-001
{"name":"Bàn làm việc gỗ","sku":"SKU-001","price":2500000}
GET products/_doc/sku-001
POST products/_update/sku-001
{"doc":{"price":2400000}}
DELETE products/_doc/sku-001
Lệnh theo cú pháp Kibana Dev Tools. Index API có thể thay thế document khi dùng cùng ID; Update API thực hiện thao tác cập nhật phía server nhưng vẫn có chi phí ghi lại document nội bộ. Delete đánh dấu xóa và được thu dọn theo vòng đời segment.
6. Shard và replica: scale và tính sẵn sàng
Primary shard chứa dữ liệu chính của một phân vùng; replica là bản sao hỗ trợ đọc và khôi phục khi node lỗi. Tăng số shard không đồng nghĩa truy vấn nhanh hơn: quá nhiều shard gây overhead heap, metadata và scheduling. Replica trên cùng một node không tạo khả năng chịu lỗi node độc lập.
PUT catalog-v1
{
"settings":{"number_of_shards":2,"number_of_replicas":1},
"mappings":{"properties":{"title":{"type":"text"}}}
}
Số primary shard của index hiện hữu không thể tùy ý sửa như số replica; thường phải tạo index mới và reindex, hoặc dùng split/shrink với điều kiện tương ứng. Chọn shard dựa trên dung lượng, tốc độ tăng trưởng, truy vấn và benchmark thực tế.
7. Inverted index và phân tích văn bản
Inverted index ánh xạ term sang các document chứa term, giúp tìm kiếm toàn văn mà không quét tuần tự toàn bộ nội dung. Analyzer thường gồm character filters, tokenizer và token filters. Việc tách từ tiếng Việt cần đánh giá riêng vì tokenizer mặc định không giải quyết mọi trường hợp ngôn ngữ.
POST _analyze
{"analyzer":"standard","text":"Elasticsearch hỗ trợ tìm kiếm tài liệu"}
BM25 là một trong các cơ chế chấm điểm relevance thường dùng. Kết quả còn phụ thuộc analyzer, cấu trúc query, độ dài trường và thống kê corpus.
8. Luồng ghi: routing, translog, refresh và flush
Yêu cầu ghi được định tuyến đến primary shard rồi nhân bản theo cơ chế replication. Translog hỗ trợ khả năng phục hồi thay đổi chưa được đưa vào Lucene commit. Refresh mở searcher mới để document có thể được tìm kiếm; flush liên quan commit và vòng đời translog. Refresh không đồng nghĩa flush, cũng không phải snapshot backup.
PUT products/_doc/sku-002?refresh=wait_for
{"name":"Ghế công thái học","sku":"SKU-002","price":3900000}
refresh=wait_for đợi một refresh làm thay đổi trở nên nhìn thấy được, thay vì ép refresh tức thì. Lạm dụng refresh=true trên từng thao tác ghi có thể làm giảm throughput.
9. Luồng đọc và scatter–gather
Một search request thường được node điều phối gửi đến các shard liên quan. Ở giai đoạn query, mỗi shard tính ứng viên; giai đoạn fetch lấy document cần trả về. Mạng, số shard, độ phức tạp query và kích thước kết quả đều ảnh hưởng latency. Tối ưu cần đo ở mức p95/p99 thay vì chỉ nhìn trung bình.
GET products/_search
{"query":{"match":{"name":"bàn làm việc"}},"size":10}
10. Query DSL: full-text, filter và relevance
match phù hợp trường text đã phân tích; term phù hợp trường keyword hoặc giá trị chính xác. bool kết hợp must, should, filter và must_not. filter thường không đóng góp vào điểm relevance và có thể hưởng lợi từ cache tùy truy vấn.
GET products/_search
{
"query":{"bool":{
"must":[{"match":{"name":"bàn gỗ"}}],
"filter":[{"range":{"price":{"lte":5000000}}}]
}},
"sort":[{"_score":"desc"},{"price":"asc"}]
}
Dùng match_phrase khi cần tìm cụm từ theo thứ tự và khoảng cách; dùng multi_match khi tìm trên nhiều trường. Kiểm tra explain/profile khi điểm relevance hoặc hiệu năng bất thường.
11. Aggregations, sorting và phân trang
Aggregations giúp nhóm và tính toán số liệu trên tập kết quả: terms, date_histogram, sum, avg, cardinality. Field dùng terms aggregation và sort thường nên là keyword, numeric hoặc date. Với phân trang sâu, ưu tiên search_after kết hợp point in time (PIT) thay vì from/size quá lớn.
GET products/_search
{
"size":0,
"aggs":{"price_ranges":{"range":{"field":"price","ranges":[{"to":1000000},{"from":1000000,"to":5000000},{"from":5000000}]}}}
}
12. Update API và optimistic concurrency control
Trong môi trường nhiều worker, hai tiến trình có thể cùng đọc rồi ghi đè nhau. Elasticsearch hỗ trợ kiểm soát xung đột bằng _seq_no và _primary_term; chỉ cập nhật nếu document chưa thay đổi kể từ lần đọc. retry_on_conflict có thể hữu ích với cập nhật phù hợp, nhưng không thay thế thiết kế nghiệp vụ idempotent.
GET products/_doc/sku-001
PUT products/_doc/sku-001?if_seq_no=3&if_primary_term=1
{"name":"Bàn làm việc gỗ","sku":"SKU-001","price":2350000}
Giá trị seq_no và primary_term ở ví dụ chỉ minh họa: phải lấy từ phản hồi GET thực tế, không sao chép cố định.
13. Update by Query và Delete by Query
Các API này thao tác trên những document khớp query và có thể chạy lâu, tiêu tốn tài nguyên, phát sinh version conflict. Nên chạy trên phạm vi nhỏ, dùng slices/throttling khi cần, quan sát task và chuẩn bị phương án phục hồi trước khi xóa hàng loạt.
POST products/_update_by_query?conflicts=proceed&requests_per_second=100
{
"query":{"term":{"sku":"SKU-001"}},
"script":{"source":"ctx._source.price = params.price","params":{"price":2300000}}
}
POST products/_delete_by_query
{"query":{"term":{"sku":"SKU-002"}}}
14. Bulk API và nạp dữ liệu hiệu quả
Bulk API gộp nhiều hành động thành một request NDJSON, giảm overhead mạng. Không có kích thước batch tối ưu cho mọi cluster; cần benchmark theo kích thước document, tốc độ index, heap và áp lực merge. Kiểm tra errors và từng item response, vì HTTP thành công không đảm bảo mọi hành động thành công.
POST _bulk
{"index":{"_index":"products","_id":"sku-003"}}
{"name":"Đèn bàn","sku":"SKU-003","price":450000}
{"index":{"_index":"products","_id":"sku-004"}}
{"name":"Giá sách","sku":"SKU-004","price":850000}
Payload Bulk phải là NDJSON: mỗi action và document nằm trên dòng riêng, kết thúc bằng newline. Không bọc toàn bộ payload trong mảng JSON.
15. Multi Get và Multi Search
_mget đọc nhiều document theo ID trong một lần gọi. _msearch chạy nhiều search request trong một lần gửi, giúp giảm round-trip nhưng không làm mất chi phí xử lý từng query trên cluster. Cần giới hạn concurrency và kích thước request.
GET products/_mget
{"ids":["sku-001","sku-003","sku-004"]}
GET _msearch
{"index":"products"}
{"query":{"match":{"name":"bàn"}}}
{"index":"products"}
{"query":{"range":{"price":{"lt":1000000}}}}
16. Dynamic mapping và explicit mapping
Dynamic mapping tự suy luận kiểu khi trường mới xuất hiện; tiện cho thử nghiệm nhưng dễ tạo kiểu sai, field explosion hoặc mapping không phù hợp. Production nên khai báo rõ các trường cốt lõi, quản lý index template và dùng dynamic strict hoặc giới hạn linh hoạt có chủ đích.
PUT orders-v1
{
"mappings":{
"dynamic":"strict",
"properties":{
"order_id":{"type":"keyword"},
"customer_name":{"type":"text","fields":{"keyword":{"type":"keyword","ignore_above":256}}},
"created_at":{"type":"date"},
"total":{"type":"scaled_float","scaling_factor":100}
}
}
}
Thay đổi kiểu dữ liệu của field đã tồn tại thường yêu cầu tạo index mới và reindex. Sử dụng alias để chuyển đọc/ghi có kiểm soát, tránh downtime không cần thiết.
17. Keyword và text: chọn sai sẽ sai kết quả
text được analyzer tách thành term để tìm kiếm toàn văn; keyword giữ giá trị như một đơn vị để exact match, filter, sort và aggregation. Ví dụ tên sản phẩm nên là text cho tìm kiếm, có thể thêm subfield keyword để sort; mã SKU và trạng thái thường là keyword.
PUT articles-v1
{
"mappings":{"properties":{
"title":{"type":"text","fields":{"keyword":{"type":"keyword","ignore_above":256}}},
"status":{"type":"keyword"}
}}
}
GET articles-v1/_search
{"query":{"term":{"status":"published"}}}
term query trên trường text có thể cho kết quả khó hiểu vì không phân tích query giống match. Tránh bật fielddata cho text chỉ để sort/aggregate nếu có thể thiết kế keyword subfield, vì fielddata có thể tiêu thụ nhiều heap.
18. Đồng bộ Elasticsearch với dữ liệu nghiệp vụ
Một kiến trúc an toàn thường coi PostgreSQL/MySQL là nguồn dữ liệu chuẩn. Sau commit, outbox event hoặc CDC chuyển thay đổi đến worker để cập nhật search index. Worker phải xử lý retry, idempotency, out-of-order events và dead-letter queue; cần khả năng rebuild index từ dữ liệu nguồn.
- Dùng document ID ổn định và version/event timestamp có kiểm soát.
- Thiết kế job backfill, kiểm tra số lượng bản ghi và đối chiếu sai lệch.
- Khi đổi mapping: tạo index phiên bản mới, nạp lại, kiểm tra và chuyển alias.
- Không hứa read-after-write qua search nếu chưa thiết kế refresh và đồng bộ phù hợp.
19. Tối ưu hiệu năng và dung lượng
Đo search latency, indexing rate, refresh/merge time, JVM heap, GC, disk I/O, shard size và queue/rejections. Hạn chế wildcard đầu chuỗi trên trường lớn, script tốn kém, query quá rộng và trả về _source không cần thiết. Dùng profiling, slow logs, load test với dữ liệu thực và giới hạn số trường.
- Benchmark kích thước bulk và số worker thay vì đặt số cố định.
- Đặt số shard theo kích thước index, phân bố node và workload.
- Dùng index lifecycle/data streams cho dữ liệu log/time-series khi phù hợp.
- Kiểm tra disk watermark, dung lượng snapshot và kế hoạch mở rộng trước khi đầy đĩa.
20. Bảo mật, backup và vận hành production
Production cần xác thực, phân quyền tối thiểu, TLS, phân tách network, giám sát và snapshot định kỳ đến repository phù hợp. Replica không phải backup: xóa nhầm hoặc corruption logic có thể lan sang bản sao. Phải thử quy trình restore, đặt cảnh báo và kế hoạch ứng phó khi node hoặc vùng hạ tầng gặp sự cố.
Không đưa tài khoản quản trị vào frontend, không mở 9200 công khai, không tắt bảo mật chỉ để đơn giản hóa triển khai. Chính sách lưu giữ dữ liệu và xóa thông tin cá nhân cần được thiết kế theo yêu cầu doanh nghiệp.
21. Elasticsearch cho AI Search và RAG
Elasticsearch có thể đóng vai trò retrieval engine trong RAG: lập chỉ mục văn bản, metadata và vector embedding; truy vấn lexical, vector hoặc hybrid rồi đưa đoạn liên quan vào ngữ cảnh LLM. Hiệu quả phụ thuộc chunking, chất lượng embedding, phân quyền truy cập, reranking và đánh giá retrieval, không chỉ phụ thuộc lựa chọn công cụ.
- Index nội dung có nguồn, quyền truy cập và thời điểm cập nhật rõ ràng.
- Kết hợp keyword search và semantic search khi tài liệu có thuật ngữ kỹ thuật, mã định danh hoặc ngôn ngữ chuyên ngành.
- Đo recall@k, precision@k, nDCG và chất lượng câu trả lời trên tập câu hỏi thật.
- Áp dụng lọc quyền truy cập trước khi cung cấp ngữ cảnh cho LLM.
22. Lộ trình triển khai Elasticsearch trong doanh nghiệp
Giai đoạn 1 — Chứng minh giá trị
Chọn một use case cụ thể, xác định chỉ số thành công như độ chính xác kết quả, p95 latency, thời gian cập nhật và chi phí vận hành. Tạo dữ liệu thử đại diện, thiết kế mapping rõ ràng và đo với bộ truy vấn thật.
Giai đoạn 2 — Tích hợp nghiệp vụ
Xây dựng pipeline đồng bộ có retry và quan sát; triển khai API tìm kiếm, filter, pagination, quyền truy cập và bộ kiểm thử hồi quy relevance. Thử nghiệm reindex và rollback alias.
Giai đoạn 3 — Production
Thiết lập HA theo mức cần thiết, TLS/RBAC, snapshot/restore, monitoring, capacity planning, lifecycle policy và runbook sự cố. Tổ chức đánh giá chi phí định kỳ thay vì mặc định mở rộng shard/node.
23. Những sai lầm phổ biến cần tránh
- Dùng Elasticsearch làm nguồn dữ liệu giao dịch duy nhất mà không đánh giá nhất quán.
- Để dynamic mapping không giới hạn trên dữ liệu đầu vào khó kiểm soát.
- Dùng text để sort hoặc keyword cho full-text search.
- Tăng shard vô tội vạ khi truy vấn chậm.
- Gọi refresh=true cho mọi thao tác ghi.
- Không kiểm tra lỗi từng item trong Bulk API.
- Không có kế hoạch reindex, snapshot và restore.
- Chỉ benchmark với dữ liệu nhỏ, bỏ qua p95/p99 và độ lớn dữ liệu thực.
24. Câu hỏi thường gặp về Elasticsearch
Elasticsearch có thay thế MySQL hoặc PostgreSQL không?
Thông thường không. Elasticsearch bổ sung khả năng tìm kiếm và phân tích; RDBMS vẫn phù hợp làm nguồn dữ liệu nghiệp vụ cần transaction.
Elasticsearch có tìm kiếm tiếng Việt tốt không?
Có thể xây dựng trải nghiệm tìm kiếm tiếng Việt tốt, nhưng cần kiểm thử analyzer, chuẩn hóa dấu, từ ghép, từ đồng nghĩa và dữ liệu thực tế.
Khi nào cần dùng keyword thay vì text?
Dùng keyword cho giá trị cần so khớp chính xác, lọc, sắp xếp hoặc tổng hợp; dùng text cho tìm kiếm toàn văn.
Replica có thay thế snapshot không?
Không. Replica hỗ trợ tính sẵn sàng; snapshot là thành phần của chiến lược sao lưu và khôi phục.
Elasticsearch có dùng cho RAG được không?
Có. Nó có thể hỗ trợ truy xuất lexical, vector và hybrid, nhưng cần đánh giá chất lượng retrieval và kiểm soát quyền truy cập.
Kết luận
Elasticsearch phát huy hiệu quả khi được xem là một thành phần tìm kiếm và phân tích có mục tiêu rõ ràng. Nắm vững mapping, shard, luồng ghi/đọc, Query DSL, đồng bộ dữ liệu và quy trình vận hành giúp đội ngũ kỹ thuật tránh được phần lớn sai lầm tốn kém. Doanh nghiệp nên bắt đầu từ một bài toán tìm kiếm cụ thể, đo lường chất lượng và mở rộng kiến trúc theo nhu cầu thực tế.